LLM推理单机PCIe-SSD零显存并发处理方法

本发明公开了LLM推理单机PCIe‑SSD零显存并发处理方法，包括以下步骤：S1、初始化推理所需核心组件；S2、处理LLM推理请求的Token流；S3、执行零系统调用的事件通知与数据调度；S4、执行LLM推理与结果反馈，涉及大语言模型推理技术领域，通过mmap将KV‑Cache驻留于PCIe‑SSD，实现GPU显存占用量为0MB，相比传统的vLLM框架，显存占用降低100%，从而突破GPU显存容量对并发数的限制，进而支持更多并发推理session，大幅提升单机推理服务容量，缓解了目前的显存瓶颈问题。