融合混合精度量化与硬件加速的AI推理方法及系统

本发明属于人工智能的技术领域，具体涉及一种融合混合精度量化与硬件加速的AI推理方法及系统，以解决现有技术中混合精度量化破坏算子融合且量化开销较大、推理效率较低的技术问题。推理方法包括：S1，针对计算图的各计算层，计算得到适宜性分数；S2，确定各计算层的目标量化比特宽度；S3，根据各计算层的目标量化比特宽度，搜索预设的硬件内核库；S4，根据节点链的输入节点与输出节点的量化比特宽度，从备选高位宽整型格式中确定目标整型格式。本发明的推理方法在保证模型精度的前提下，实现了推理速度和硬件资源利用率的平衡。