검색으로 돌아가기
기록
一种面向大模型应用的算力资源管理系统及方法
발명알 수 없음
10청구항 · 2 독립항
§ Ⅰ
개요
IPC 분류
G06F 9/50 (2006.01)G06F 9/48 (2006.01)G06N 5/04 (2023.01)
本申请提供了一种面向大模型应用的算力资源管理系统及方法。该方法包括:为大模型应用请求构建统一资源镜像UCRM,所述UCRM包含资源状态向量R=(T,K,M,C,P),其中T为Token状态、K为KVCache状态、M为显存状态、C为通信状态、P为并行策略状态;所述UCRM中的状态向量作为调度决策、显存分配、资源释放的统一控制依据;根据生命周期等级与页池阈值区间的对应关系,从对应的物理显存页池中分配非连续页并建立映射;采集实际运行结果,更新预测模型参数、动态修正权重系数并调整生命周期等级划分阈值。本申请降低了显存碎片率、降低了通信开销、提高了异构算力资源利用率及推理吞吐量。
로그인하고 전문 읽기
청구항 1을 표시했습니다. 무료 가입하면 전체 10개 청구항, 명세서 전문, 전체 도면, 번역, 법적 상태를 볼 수 있습니다.
- 전체 청구항
- 기술 분야
- 배경 기술
- 발명의 내용
- 도면 설명
- 발명의 실시 형태