一种生成历史累积矩阵A的算子的优化方法及装置

一种生成历史累积矩阵A的算子的优化方法及装置，涉及神经网络中的注意力机制计算技术领域，该方法包括：获取键矩阵K、缩放向量β和门控值G；以fp16调用矩阵乘单元对K执行纯矩阵乘得到M；以fp32调用向量计算单元基于计算缩放因子H；以fp32调用向量计算单元将H与M逐元素乘得到历史累积矩阵A=H⊙M。由此，通过将矩阵乘与缩放因子解耦、将指数运算前置、缩放因子后置，在保持矩阵乘单元cube高吞吐的同时避免了fp32格式到fp16格式的转换误差，实现了历史累积矩阵A的高精度构造。