검색으로 돌아가기
기록

移动端本地模型运行时管理方法、装置、电子设备及存储介质

발명알 수 없음
10청구항 · 4 독립항
§ Ⅰ

개요

발명자

胡明; 黄利庆; 韩昌雷

출원일

Aug 20, 2026

공개일

Oct 27, 2026

IPC 분류

G06N 5/04 (2023.01)G06F 12/0875 (2016.01)G06F 9/50 (2006.01)G06F 9/52 (2006.01)

本申请公开了一种移动端本地模型运行时管理方法、装置、电子设备及存储介质。该方法包括:接收推理请求数据,其包含模型标识、业务会话标识、计算后端配置组合、多模态能力开关和系统提示词文本;基于所述模型标识、计算后端配置组合和多模态能力开关进行组合计算,得到引擎缓存键;基于引擎缓存键查询引擎缓存,确定目标推理引擎;对业务会话标识和系统提示词文本进行摘要处理,得到会话槽标识;将会话槽标识与当前会话槽的标识进行比对,确定目标推理引擎对应的目标会话实例;当目标推理引擎执行推理任务时,实时更新其的在途请求计数;若在途请求计数满足预设空闲条件且持续时长达到预设阈值,则释放目标推理引擎及其关联的会话资源。

로그인하고 전문 읽기

청구항 1을 표시했습니다. 무료 가입하면 전체 10개 청구항, 명세서 전문, 전체 도면, 번역, 법적 상태를 볼 수 있습니다.

  • 전체 청구항
  • 기술 분야
  • 배경 기술
  • 발명의 내용
  • 도면 설명
  • 발명의 실시 형태