返回搜索
档案
基于异构算力集群的大模型推理混合流水线构建系统
发明专利未知
10权利要求 · 1 独立
§ Ⅰ
卷宗概要
IPC 分类
G06N 5/04 (2023.01)G06N 3/063 (2023.01)G06N 3/0455 (2023.01)G06N 3/0499 (2023.01)G06F 9/50 (2006.01)
本申请公开一种基于异构算力集群的大模型推理混合流水线构建系统,包括预填充模块、KV缓存管理模块、解码注意力模块、解码前馈神经网络模块、状态更新模块及异构流水线模块。系统接收用户提示文本数据经并行计算生成末层初始KV数据和末层Hidden State数据;转换存储格式生成适配异构硬件的KV Cache数据;结合初始Query Token向量数据完成注意力计算生成Context Vector数据;执行前馈神经网络计算生成层输出数据并采样生成Next Token ID数据;计算生成新的KV数据并更新KV Cache;将多推理请求划分为微批次数据流并行调度处理。本申请通过异构硬件精准匹配与微批次流水线调度,实现大模型推理的高效计算与低延迟通信,适用于大规模语言模型分布式推理场景下的高吞吐量与低总拥有成本需求。
登录后阅读全文
已显示权利要求 1。免费注册即可阅读全部 10 项权利要求、说明书全文、全部附图、翻译和法律状态。
- 全部权利要求
- 技术领域
- 背景技术
- 发明内容
- 附图说明
- 具体实施方式