基于SwiGLU激活函数的大模型推理加速方法及系统

本发明涉及大模型领域，特别涉及一种基于SwiGLU激活函数的大模型推理加速方法和一种基于SwiGLU激活函数的大模型推理加速系统。一种基于SwiGLU激活函数的大模型推理加速方法，包括：将大模型中的门控权重矩阵和向上权重矩阵进行列级交错排布，生成融合权重矩阵；所述门控权重矩阵的第i列与所述向上权重矩阵的第j列在所述融合权重矩阵中相邻存储，i，j为列索引；将输入向量与所述融合权重矩阵进行线性变换，得到第一张量；将所述第一张量经过自适应分段逼近激活函数处理，得到非线性的推理结果。本发明技术方案将SwiGLU激活函数的推理延迟降低近一半，吞吐量提升近一倍，充分发挥了硬件算力。本发明不依赖特定硬件特性，具有良好的跨平台适应性。