返回搜索
档案
移动端本地模型运行时管理方法、装置、电子设备及存储介质
发明专利未知
10权利要求 · 4 独立
§ Ⅰ
卷宗概要
IPC 分类
G06N 5/04 (2023.01)G06F 12/0875 (2016.01)G06F 9/50 (2006.01)G06F 9/52 (2006.01)
本申请公开了一种移动端本地模型运行时管理方法、装置、电子设备及存储介质。该方法包括:接收推理请求数据,其包含模型标识、业务会话标识、计算后端配置组合、多模态能力开关和系统提示词文本;基于所述模型标识、计算后端配置组合和多模态能力开关进行组合计算,得到引擎缓存键;基于引擎缓存键查询引擎缓存,确定目标推理引擎;对业务会话标识和系统提示词文本进行摘要处理,得到会话槽标识;将会话槽标识与当前会话槽的标识进行比对,确定目标推理引擎对应的目标会话实例;当目标推理引擎执行推理任务时,实时更新其的在途请求计数;若在途请求计数满足预设空闲条件且持续时长达到预设阈值,则释放目标推理引擎及其关联的会话资源。
登录后阅读全文
已显示权利要求 1。免费注册即可阅读全部 10 项权利要求、说明书全文、全部附图、翻译和法律状态。
- 全部权利要求
- 技术领域
- 背景技术
- 发明内容
- 附图说明
- 具体实施方式