検索に戻る
案件記録

一种面向大模型应用的算力资源管理系统及方法

発明不明
10請求項 · 2 独立
§ Ⅰ

案件概要

発明者

杨德权

出願日

Jul 28, 2026

公開日

Oct 20, 2026

IPC分類

G06F 9/50 (2006.01)G06F 9/48 (2006.01)G06N 5/04 (2023.01)

本申请提供了一种面向大模型应用的算力资源管理系统及方法。该方法包括:为大模型应用请求构建统一资源镜像UCRM,所述UCRM包含资源状态向量R=(T,K,M,C,P),其中T为Token状态、K为KVCache状态、M为显存状态、C为通信状态、P为并行策略状态;所述UCRM中的状态向量作为调度决策、显存分配、资源释放的统一控制依据;根据生命周期等级与页池阈值区间的对应关系,从对应的物理显存页池中分配非连续页并建立映射;采集实际运行结果,更新预测模型参数、动态修正权重系数并调整生命周期等级划分阈值。本申请降低了显存碎片率、降低了通信开销、提高了异构算力资源利用率及推理吞吐量。

ログインして全文を読む

請求項 1 を表示しています。無料登録で全 10 項の請求項、明細書全文、全図面、翻訳、法的状態を閲覧できます。

  • 全請求項
  • 技術分野
  • 背景技術
  • 発明の概要
  • 図面の説明
  • 発明を実施するための形態

外部リソース