一种用于RAG加速的KV Cache压缩与分层管理方法、装置及介质

本发明公开了一种用于RAG加速的KV Cache压缩与分层管理方法、装置及介质，属于大模型推理加速技术领域。为解决现有RAG KV Cache管理技术中存储占用过大、无法兼顾数据长期重要性与即时访问性的问题，本发明提出一种分层管理策略，该方法为KV Cache块定义一个包含全局热度、会话热度和上下文热度的多维热度向量。其核心在于：使用全局热度独立确定缓存块的压缩精度，以平衡保真度与性能；同时，使用会话热度和上下文热度独立确定其在GPU、CPU固定内存和CPU可分页内存等异构层级中的放置位置。本发明通过即时性维度指导放置、重要性维度指导压缩，并实现了上下文智能预取，显著提升了RAG系统，尤其是会话内和上下文追问场景下的推理性能。