返回搜索
档案
一种面向大语言模型API调用的自动恢复方法及系统
发明专利未知
10权利要求 · 3 独立
§ Ⅰ
卷宗概要
IPC 分类
G06F 11/07 (2006.01)G06F 9/54 (2006.01)G06N 3/006 (2023.01)G06N 3/0455 (2023.01)G06N 5/04 (2023.01)
本发明涉及人工智能技术领域,具体公开了一种面向大语言模型API调用的自动恢复方法及系统,包括:步骤S1,当检测到大语言模型API返回限流状态码时,进行指数退避重试,并在满足降级条件时切换调用备选模型;步骤S2,当模型降级链中的所有模型均调用失败时,在下一配额重置窗口时间上叠加预设的缓冲时间,生成任务恢复时间点;步骤S3,暂停当前的智能体的任务执行,生成内存快照;步骤S4,将内存快照、任务恢复时间点及会话标识作为一条恢复请求记录存储至存储系统,并将恢复请求记录的状态标记为待恢复;步骤S5,按预设周期轮询存储系统;步骤S6,基于查询到的恢复请求记录中的会话标识,自动触发智能体基于上下文历史继续执行未完成的任务。
登录后阅读全文
已显示权利要求 1。免费注册即可阅读全部 10 项权利要求、说明书全文、全部附图、翻译和法律状态。
- 全部权利要求
- 技术领域
- 背景技术
- 发明内容
- 附图说明
- 具体实施方式