基于推测性键值缓存稀疏技术的大语言模型长文本推理加速方法、装置、介质、终端及程序产品

本申请提供了一种基于推测性键值缓存稀疏技术的大语言模型长文本推理加速方法、装置、介质、终端及程序产品，所述方法应用于包括GPU和CPU的电子设备，包括：依据所获取的上下文序列，基于蒸馏语言模型生成最重要的历史令牌的索引列表；对当前时刻所生成的索引列表与上一时刻的索引列表进行比较计算得到差集部分；并将差集部分的键值缓存从CPU异步预取至GPU；根据所异步预取的键值缓存，基于大语言模型并行执行生成新令牌；依据所生成的新令牌得到新序列长度，判断新序列长度是否超过预先设定的阈值；若超过阈值，则执行卸载操作。本申请能够提高大语言模型处理长文本推理的性能和稳定性，并且确保长上下文推理过程中的键值缓存优化始终有效。