№ CN122947929A发明专利
未知基于异构算力集群的大模型推理混合流水线构建系统
本申请公开一种基于异构算力集群的大模型推理混合流水线构建系统,包括预填充模块、KV缓存管理模块、解码注意力模块、解码前馈神经网络模块、状态更新模块及异构流水线模块。系统接收用户提示文本数据经并行计算生成末层初始KV数据和末层Hidden State数据;转换存储格式生成适配异构硬件的KV Cache数据;结合初始Query Token向量数据完成注意力计算生成Context Vector数据;执行前馈神经网络计算生成层输出数据并采样生成Next Token ID数据;计算生成新的KV数据并更新KV Cache;将多推理请求划分为微批次数据流并行调度处理。本申请通过异构硬件精准匹配与微批次流水线调度,实现大模型推理的高效计算与低延迟通信,适用于大规模语言模型分布式推理场景下的高吞吐量与低总拥有成本需求。
❖沨呵智慧科技(上海)有限公司丁阔; 周健; 徐栋梁Oct 20, 2026§ 1/10 权利要求G06N 5/04 (2023.01), G06N 3/063 (2023.01), G06N 3/0455 (2023.01) +2