Back to Search
Dossier
一种用于AI助手知识库智能问答准确性的测试方法及系统
InventionActive
10Claims · 4 independent
§ Ⅰ
Dossier Overview
Inventor
谷亚莎
IPC Classification
G06F 11/3668 (2025.01)
本发明公开了一种用于AI助手知识库智能问答准确性的测试方法及系统,属于人工智能技术领域,包括以下步骤:解析待测试AI助手的知识库数据,定义包含测试场景集合;调用大语言模型,基于知识库数据与测试场景集合,自动生成多样化测试问题及对应的标准答案;将测试问题输入待测试AI助手,采集AI助手返回的待评价结果;构建多维度评价指标体系,通过大语言模型与规则引擎结合的方式,对待评价结果进行自动化打分;统计测试结果,分析AI助手表现短板,生成测试报告。本发明实现测试问题与标准答案的自动生成、多维度自动化评价以及全流程自动化测试,提升测试效率与精准度,降低人力成本,全面检测AI助手在各类场景下的问答表现。
External Resources