一种热度感知的LLM检索增强生成优化方法及系统

本发明公开了一种热度感知的LLM检索增强生成优化方法及系统，其中方法包括：获取知识库中若干个KV块的访问频次信息；基于访问频次信息和KV块的数值分布特征，对KV块进行混合精度压缩，生成压缩后的KV块；基于访问频次信息，将压缩后的KV块放置在具有不同访存速度的存储空间中，完成优化。本发明通过分析检索增强生成系统中不同知识库KV块的访问频次和数值分布特征，实现了基于热度感知的混合精度压缩与分级存储机制，有效降低了KV块的磁盘存储空间占用和数据加载开销，减少了从磁盘到内存的数据传输延迟，同时在保证高频访问数据精度的前提下优化了解压缩效率，从而显著提升了检索增强生成系统的整体推理速度和资源利用效率。