一种数据处理方法及服务器
本申请涉及一种数据处理方法及服务器,涉及大模型技术领域。该方法应用于计算机设备,计算机设备中集成有包括至少两个级联的特征提取模块和一个KV压缩模块的目标大语言模型,该方法包括:将目标提示文本分别输入每一特征提取模块,得到每一特征提取模块输出的不同目标词元的局部KV和不同局部KV的注意力权重;针对每一特征提取模块,通过KV压缩模块,根据特征提取模块的压缩比例和不同局部KV的注意力权重,对特征提取模块的不同局部KV进行压缩,得到特征提取模块对应的目标KV压缩结果;将每一目标KV压缩结果输入对应的特征提取模块,得到目标提示文本的目标响应文本。采用上述技术方案,能够减少推理过程中的冗余计算,提升推理速度和推理精度。