CNIPA.AI
返回搜索
档案

移动端本地模型运行时管理方法、装置、电子设备及存储介质

发明专利未知
10权利要求 · 4 独立
§ Ⅰ

卷宗概要

发明人

胡明; 黄利庆; 韩昌雷

申请日

Aug 20, 2026

公开日

Oct 27, 2026

IPC 分类

G06N 5/04 (2023.01)G06F 12/0875 (2016.01)G06F 9/50 (2006.01)G06F 9/52 (2006.01)

本申请公开了一种移动端本地模型运行时管理方法、装置、电子设备及存储介质。该方法包括:接收推理请求数据,其包含模型标识、业务会话标识、计算后端配置组合、多模态能力开关和系统提示词文本;基于所述模型标识、计算后端配置组合和多模态能力开关进行组合计算,得到引擎缓存键;基于引擎缓存键查询引擎缓存,确定目标推理引擎;对业务会话标识和系统提示词文本进行摘要处理,得到会话槽标识;将会话槽标识与当前会话槽的标识进行比对,确定目标推理引擎对应的目标会话实例;当目标推理引擎执行推理任务时,实时更新其的在途请求计数;若在途请求计数满足预设空闲条件且持续时长达到预设阈值,则释放目标推理引擎及其关联的会话资源。

登录后阅读全文

已显示权利要求 1。免费注册即可阅读全部 10 项权利要求、说明书全文、全部附图、翻译和法律状态。

  • 全部权利要求
  • 技术领域
  • 背景技术
  • 发明内容
  • 附图说明
  • 具体实施方式