一种基于混合精度的神经网络模型量化方法及装置

本发明涉及神经网络模型量化技术领域，且公开了一种基于混合精度的神经网络模型量化方法及装置，包括：S1、获取浮点模型和校准数据，依据权重及激活统计分布、损失扰动量及硬件算力存储开销生成量化特征图。通过在量化特征构建阶段融合权重统计分布、激活统计分布、损失扰动等级和硬件算力存储开销生成量化特征图，在混合精度模板约束下以难度加权方式确定各层非均匀量化等级和非均匀量化区间，并结合影子通路与误差缓冲区驱动的误差回流梯度修正以及比特配置固定条件下的硬件侧部署校准，从而达到在较低比特宽度下兼顾模型精度保持与目标硬件推理效率提升的效果，并降低量化部署对人工经验和多轮重训练的依赖。