基于SwiGLU激活函数的大模型推理加速方法及系统
本发明涉及大模型领域,特别涉及一种基于SwiGLU激活函数的大模型推理加速方法和一种基于SwiGLU激活函数的大模型推理加速系统。一种基于SwiGLU激活函数的大模型推理加速方法,包括:将大模型中的门控权重矩阵和向上权重矩阵进行列级交错排布,生成融合权重矩阵;所述门控权重矩阵的第i列与所述向上权重矩阵的第j列在所述融合权重矩阵中相邻存储,i,j为列索引;将输入向量与所述融合权重矩阵进行线性变换,得到第一张量;将所述第一张量经过自适应分段逼近激活函数处理,得到非线性的推理结果。本发明技术方案将SwiGLU激活函数的推理延迟降低近一半,吞吐量提升近一倍,充分发挥了硬件算力。本发明不依赖特定硬件特性,具有良好的跨平台适应性。