返回搜索
档案
一种面向大模型应用的算力资源管理系统及方法
发明专利未知
10权利要求 · 2 独立
§ Ⅰ
卷宗概要
IPC 分类
G06F 9/50 (2006.01)G06F 9/48 (2006.01)G06N 5/04 (2023.01)
本申请提供了一种面向大模型应用的算力资源管理系统及方法。该方法包括:为大模型应用请求构建统一资源镜像UCRM,所述UCRM包含资源状态向量R=(T,K,M,C,P),其中T为Token状态、K为KVCache状态、M为显存状态、C为通信状态、P为并行策略状态;所述UCRM中的状态向量作为调度决策、显存分配、资源释放的统一控制依据;根据生命周期等级与页池阈值区间的对应关系,从对应的物理显存页池中分配非连续页并建立映射;采集实际运行结果,更新预测模型参数、动态修正权重系数并调整生命周期等级划分阈值。本申请降低了显存碎片率、降低了通信开销、提高了异构算力资源利用率及推理吞吐量。
登录后阅读全文
已显示权利要求 1。免费注册即可阅读全部 10 项权利要求、说明书全文、全部附图、翻译和法律状态。
- 全部权利要求
- 技术领域
- 背景技术
- 发明内容
- 附图说明
- 具体实施方式