検索に戻る
案件記録

移动端本地模型运行时管理方法、装置、电子设备及存储介质

発明不明
10請求項 · 4 独立
§ Ⅰ

案件概要

発明者

胡明; 黄利庆; 韩昌雷

出願日

Aug 20, 2026

公開日

Oct 27, 2026

IPC分類

G06N 5/04 (2023.01)G06F 12/0875 (2016.01)G06F 9/50 (2006.01)G06F 9/52 (2006.01)

本申请公开了一种移动端本地模型运行时管理方法、装置、电子设备及存储介质。该方法包括:接收推理请求数据,其包含模型标识、业务会话标识、计算后端配置组合、多模态能力开关和系统提示词文本;基于所述模型标识、计算后端配置组合和多模态能力开关进行组合计算,得到引擎缓存键;基于引擎缓存键查询引擎缓存,确定目标推理引擎;对业务会话标识和系统提示词文本进行摘要处理,得到会话槽标识;将会话槽标识与当前会话槽的标识进行比对,确定目标推理引擎对应的目标会话实例;当目标推理引擎执行推理任务时,实时更新其的在途请求计数;若在途请求计数满足预设空闲条件且持续时长达到预设阈值,则释放目标推理引擎及其关联的会话资源。

ログインして全文を読む

請求項 1 を表示しています。無料登録で全 10 項の請求項、明細書全文、全図面、翻訳、法的状態を閲覧できます。

  • 全請求項
  • 技術分野
  • 背景技術
  • 発明の概要
  • 図面の説明
  • 発明を実施するための形態

外部リソース