基于锚点压缩机制的多层注意力模型推理加速方法与装置

本发明公开了一种基于锚点压缩机制的多层注意力模型推理加速方法与装置，适用于大型语言模型推理阶段的计算优化。该方法通过在Transformer结构中的部分中间层插入锚点压缩模块，对输入序列进行重要性分析，动态筛选出具代表性的锚点位置；锚点作为查询向量，联合原始序列通过稀疏注意力机制生成压缩表达，从而降低注意力计算复杂度和显存占用；锚点压缩模块采用插拔式结构，可无缝嵌入已训练模型的推理路径，无需重新训练。实验表明，在保持生成质量的同时，本发明可显著提升推理吞吐量，降低首token延迟和GPU内存使用，具有良好的兼容性和工程实用价值。