一种数据处理方法及服务器

本申请涉及一种数据处理方法及服务器，涉及大模型技术领域。该方法应用于计算机设备，计算机设备中集成有包括至少两个级联的特征提取模块和一个KV压缩模块的目标大语言模型，该方法包括：将目标提示文本分别输入每一特征提取模块，得到每一特征提取模块输出的不同目标词元的局部KV和不同局部KV的注意力权重；针对每一特征提取模块，通过KV压缩模块，根据特征提取模块的压缩比例和不同局部KV的注意力权重，对特征提取模块的不同局部KV进行压缩，得到特征提取模块对应的目标KV压缩结果；将每一目标KV压缩结果输入对应的特征提取模块，得到目标提示文本的目标响应文本。采用上述技术方案，能够减少推理过程中的冗余计算，提升推理速度和推理精度。