基于分层异构压缩架构的KV缓存压缩方法及系统

本发明提供了一种基于分层异构压缩架构的KV缓存压缩方法及系统，涉及大语言模型推理优化技术领域。本发明通过将Transformer模型的不同层级划分为浅层、中间层和深层，并为各层级分别配置与其功能相匹配的局部性保持策略、语义聚类策略和概念抽象策略，在满足压缩触发条件时对各层级KV缓存进行差异化压缩，同时通过跨层协调机制在各层级之间传递压缩过程中识别的重要性信息。相较于现有统一压缩方法，本发明能够根据不同层级的特性进行针对性压缩，浅层得以保留局部语法细节，中间层有效保留语义结构信息，深层聚焦全局概念，并且，跨层协调机制可以确保信息流的连贯性，从而在保证模型性能的同时，显著降低了KV缓存内存占用。