一种大语言模型能力评测方法及相关装置

本申请公开了一种大语言模型能力评测方法及相关装置，涉及模型评测技术领域，大语言模型能力评测方法包括：获取待评测的大语言模型集中的每个大语言模型针对测试数据集中的每个测试问题生成的答案；利用规则生成大模型为每个测试问题生成对应的答案质量评判规则；将各大语言模型两两组合，将同一模型对针对每个测试问题生成的两个答案组合，得到每个模型对在每个测试问题上对应的答案对；针对每个测试问题，依据该测试问题对应的评判规则，评判每个答案对所包含的两个答案的优劣；根据各答案对的评判结果确定各个大语言模型的能力评测结果。本申请公开的评测方法可实现对于多个大语言模型能力的自动评测，评测效率较高，且评测结果客观、可靠。