검색으로 돌아가기
기록
基于异构算力集群的大模型推理混合流水线构建系统
발명알 수 없음
10청구항 · 1 독립항
§ Ⅰ
개요
IPC 분류
G06N 5/04 (2023.01)G06N 3/063 (2023.01)G06N 3/0455 (2023.01)G06N 3/0499 (2023.01)G06F 9/50 (2006.01)
本申请公开一种基于异构算力集群的大模型推理混合流水线构建系统,包括预填充模块、KV缓存管理模块、解码注意力模块、解码前馈神经网络模块、状态更新模块及异构流水线模块。系统接收用户提示文本数据经并行计算生成末层初始KV数据和末层Hidden State数据;转换存储格式生成适配异构硬件的KV Cache数据;结合初始Query Token向量数据完成注意力计算生成Context Vector数据;执行前馈神经网络计算生成层输出数据并采样生成Next Token ID数据;计算生成新的KV数据并更新KV Cache;将多推理请求划分为微批次数据流并行调度处理。本申请通过异构硬件精准匹配与微批次流水线调度,实现大模型推理的高效计算与低延迟通信,适用于大规模语言模型分布式推理场景下的高吞吐量与低总拥有成本需求。
로그인하고 전문 읽기
청구항 1을 표시했습니다. 무료 가입하면 전체 10개 청구항, 명세서 전문, 전체 도면, 번역, 법적 상태를 볼 수 있습니다.
- 전체 청구항
- 기술 분야
- 배경 기술
- 발명의 내용
- 도면 설명
- 발명의 실시 형태