北京硅基流动科技股份有限公司

本发明属于大语言模型推理技术领域，具体涉及一种支持线性注意力的大模型推理方法及系统，通过为推理请求分配双池缓存资源，并在预填充时分块计算并逐令牌保存末尾DT个状态及键值页；解码时基于序列长度取模确定状态槽位置并执行融合递推计算；最后根据前缀缓存启用状态和页边界对齐条件决定是否拷贝状态至缓存槽并标记键值页可复用，其有效解决线性注意力状态随序列长度线性增长导致显存耗尽、投机采样状态寻址依赖接受数量、线性与全注意力缓存粒度不一致导致前缀无法对齐的问题，有效消除状态管理对序列长度的依赖性，简化投机采样状态寻址逻辑，实现双池前缀缓存的对齐复用，并降低逐轮内核启动的CPU调度开销。