清昴智能科技（北京）有限公司

本发明提出一种面向AI加速芯片的大模型推理执行方法及系统，涉及人工智能和大规模语言模型推理技术领域。本发明将请求排队、batch选择、KV页表分配等动态调度逻辑保留在第一运行时环境（如Python前端），将模型权重、NPU runtime、KV cache、通信域和算子调用下沉到第二运行时环境（如常驻C++后端），并通过结构化推理元数据连接二者，使后端无需重新推断调度状态即可驱动AI加速芯片执行。

一种生成历史累积矩阵A的算子的优化方法及装置，涉及神经网络中的注意力机制计算技术领域，该方法包括：获取键矩阵K、缩放向量β和门控值G；以fp16调用矩阵乘单元对K执行纯矩阵乘得到M；以fp32调用向量计算单元基于计算缩放因子H；以fp32调用向量计算单元将H与M逐元素乘得到历史累积矩阵A=H⊙M。由此，通过将矩阵乘与缩放因子解耦、将指数运算前置、缩放因子后置，在保持矩阵乘单元cube高吞吐的同时避免了fp32格式到fp16格式的转换误差，实现了历史累积矩阵A的高精度构造。