返回搜索
档案
一种面向异构智能体任务轨迹的可用证据归一化评测指标构建与评分方法及系统
发明专利未知
10权利要求 · 3 独立
§ Ⅰ
卷宗概要
IPC 分类
G06F 18/21 (2023.01)G06F 18/15 (2023.01)G06F 18/2433 (2023.01)G06F 18/25 (2023.01)G06F 18/22 (2023.01)G06N 3/006 (2023.01)G06N 3/0455 (2023.01)G06N 5/04 (2023.01)G06N 5/045 (2023.01)
本发明提供一种面向异构智能体任务轨迹的可用证据归一化评测指标构建与评分方法及系统。所述方法包括:由基准的适配器执行任务并返回异构原始日志并将其转换为统一日志;由所述统一日志抽取试验记录,由智能体产出的协议日志生成派生证据产物,所述派生证据产物包括规范化任务轨迹;将任务执行过程划分为规划阶段、执行阶段以及验证与交付阶段,并针对每个阶段分别构建指标卡;聚合得到规划阶段、执行阶段以及验证与交付阶段的三阶段规则分,计算过程总分、过程诊断分和整体置信度;将所述三阶段规则分与真实任务结果分、多结果来源一致性分执行结果锚定,得到结果锚定总分。本发明能够显著提高过程评测的可解释性。
登录后阅读全文
已显示权利要求 1。免费注册即可阅读全部 10 项权利要求、说明书全文、全部附图、翻译和法律状态。
- 全部权利要求
- 技术领域
- 背景技术
- 发明内容
- 附图说明
- 具体实施方式