№ CN122988207A発明
不明移动端本地模型运行时管理方法、装置、电子设备及存储介质
本申请公开了一种移动端本地模型运行时管理方法、装置、电子设备及存储介质。该方法包括:接收推理请求数据,其包含模型标识、业务会话标识、计算后端配置组合、多模态能力开关和系统提示词文本;基于所述模型标识、计算后端配置组合和多模态能力开关进行组合计算,得到引擎缓存键;基于引擎缓存键查询引擎缓存,确定目标推理引擎;对业务会话标识和系统提示词文本进行摘要处理,得到会话槽标识;将会话槽标识与当前会话槽的标识进行比对,确定目标推理引擎对应的目标会话实例;当目标推理引擎执行推理任务时,实时更新其的在途请求计数;若在途请求计数满足预设空闲条件且持续时长达到预设阈值,则释放目标推理引擎及其关联的会话资源。
❖深圳盒造智能科技有限公司胡明; 黄利庆; 韩昌雷Oct 27, 2026§ 4/10 請求項G06N 5/04 (2023.01), G06F 12/0875 (2016.01), G06F 9/50 (2006.01) +1