一种带浮点缩放因子的低比特矩阵计算装置及其计算方法

本发明公开一种带浮点缩放因子的低比特矩阵计算装置及其计算方法，装置包括缩放因子处理模块、输入模块、矩阵计算模块、浮点累加模块和输出模块。方法先对权重和特征值矩阵分组量化，获得量化值及浮点缩放因子；再以单次累加长度为分组单位，提前计算缩放因子乘积；接着进行矩阵乘累加运算，将结果转fp16或bfp16格式后乘缩放因子乘积，再累加到最终结果；最后反量化输出。本发明通过共享缩放因子乘积、使用fp16或bfp16作为累加器等，简化group‑wise计算流程，节约硬件资源，保证计算精度，满足不同场景需求，提高计算效率。