検索に戻る
案件記録

一种大模型感知切分的多终端设备协同推理方法及系统

発明有効
9請求項 · 2 独立
§ Ⅰ

案件概要

IPC分類

G06N 5/04 (2023.01)G06N 3/045 (2023.01)G06N 3/0499 (2023.01)G06F 9/48 (2006.01)G06F 9/50 (2006.01)

本发明涉及模型推理技术领域,公开了一种大模型感知切分的多终端设备协同推理方法,包括:对目标大语言模型的计算图进行细粒度解析,识别各算子类型及其计算‑通信特性;根据算子的类型、内存占用、计算强度及注意力机制变体,自动生成差异化的权重划分策略;将划分后的权重分片与计算任务映射至多个边缘设备,构建各设备的最小执行子图;在推理过程中,采用主机中心化聚合协调与计算‑通信重叠机制,最小化同步开销;执行自回归推理,逐token生成输出,并通过动态权重缓存机制优化后续推理效率。

ログインして全文を読む

請求項 1 を表示しています。無料登録で全 9 項の請求項、明細書全文、全図面、翻訳、法的状態を閲覧できます。

  • 全請求項
  • 技術分野
  • 背景技術
  • 発明の概要
  • 図面の説明
  • 発明を実施するための形態

外部リソース