模型推理过程中的矩阵乘法运算方法、装置、芯片及介质

本发明公开了模型推理过程中的矩阵乘法运算方法、装置、芯片及介质，包括：获取深度学习模型对应的原始激活矩阵与原始权重矩阵；根据加速芯片中向量寄存器对应的访存特性信息，将所述原始权重矩阵中的每列数据划分为多个列向量块；将所述原始权重矩阵中的多个列向量块，按照列顺序拼接生成目标权重矩阵，并对所述原始激活矩阵与目标权重矩阵进行乘法运算。本发明实施例的技术方案提供了一种保持矩阵逻辑维度不变的列优先数据排布策略，避免了因矩阵形状变化带来的数据流图兼容性问题和额外适配开销，显著提高了加速芯片的内存带宽利用率，节省了加速芯片中内存与计算资源的占用。