CNIPA.AI
Back to Search
Dossier

一种面向终端设备的大模型动态加载推理方法及系统

InventionActive
9Claims · 2 independent
§ Ⅰ

Dossier Overview

Inventor

吕丰; 李展熙; 曾翡; 李书城

IPC Classification

G06N 5/04 (2023.01)G06F 9/50 (2006.01)G06F 11/34 (2006.01)G06F 12/1009 (2016.01)G06N 20/00 (2019.01)

本发明涉及模型推理技术领域,公开了一种面向终端设备的大模型动态加载推理方法及系统,包括:离线规划阶段:执行异构设备特征分析,以评估目标设备的计算性能和I/O带宽,并收集模型权重信息;基于所述特征分析,通过自适应调度算法计算出最优切分策略,所述最优切分策略表示为元组(k,w),其中,k表示永久保存在内存中的常驻解码器层数量,w表示动态加载层的滑动窗口大小;在线推理阶段:基于所述最优切分策略,采用分层权重编排机制,通过零拷贝I/O‑计算并行技术动态加载和释放大语言模型的权重,进行推理。

Sign in to read the full text

Claim 1 is shown. Create a free account to read all 9 claims, the full description, all drawings, translations and legal status.

  • All claims
  • Technical field
  • Background
  • Summary
  • Drawing descriptions
  • Detailed description

External Resources