基于请求的动态KVCache卸载方法、系统及程序产品

本发明属于计算系统技术领域，具体公开了基于请求的动态KVCache卸载方法、系统及程序产品，通过在GPU队列和CXL内存之间建立高效的KVcache交换通道，在GPU内存不足时将低优先级请求优先卸载到CXL内存，在GPU内存足够时，将高优先级请求从CXL内存优先加载到GPU中，保证了高效的数据访问和快速响应能力，实现了在资源受限情况下更高的推理吞吐量和内存交换效率。本发明避免了传统卸载方案中频繁的数据分割和传输，维护了计算的完整性，并通过动态阈值调整优化了GPU资源的利用率，在长序列推理场景下能够显著提升GPU的吞吐量和内存利用率。