検索に戻る
案件記録
基于异构算力集群的大模型推理混合流水线构建系统
発明不明
10請求項 · 1 独立
§ Ⅰ
案件概要
IPC分類
G06N 5/04 (2023.01)G06N 3/063 (2023.01)G06N 3/0455 (2023.01)G06N 3/0499 (2023.01)G06F 9/50 (2006.01)
本申请公开一种基于异构算力集群的大模型推理混合流水线构建系统,包括预填充模块、KV缓存管理模块、解码注意力模块、解码前馈神经网络模块、状态更新模块及异构流水线模块。系统接收用户提示文本数据经并行计算生成末层初始KV数据和末层Hidden State数据;转换存储格式生成适配异构硬件的KV Cache数据;结合初始Query Token向量数据完成注意力计算生成Context Vector数据;执行前馈神经网络计算生成层输出数据并采样生成Next Token ID数据;计算生成新的KV数据并更新KV Cache;将多推理请求划分为微批次数据流并行调度处理。本申请通过异构硬件精准匹配与微批次流水线调度,实现大模型推理的高效计算与低延迟通信,适用于大规模语言模型分布式推理场景下的高吞吐量与低总拥有成本需求。
ログインして全文を読む
請求項 1 を表示しています。無料登録で全 10 項の請求項、明細書全文、全図面、翻訳、法的状態を閲覧できます。
- 全請求項
- 技術分野
- 背景技術
- 発明の概要
- 図面の説明
- 発明を実施するための形態
外部リソース