金融大模型评测集的构建方法和装置

本公开提出一种金融大模型评测集的构建方法和装置，方法包括：获取来源于多个金融业务场景的原始评测素材，并构建用于金融大模型能力评估的任务类型体系以及用于界定能力评估所关联的金融业务范围的业务维度体系；基于任务类型体系和业务维度体系，对原始评测素材中的各原始评测样本进行标签标注，以得到具有任务标签和业务标签的中间评测集；对中间评测集进行质量控制和难易度评估，以得到具有多维标签结构的目标评测集，由此，评测集覆盖了多样化的金融业务场景和能力任务类型，提升了评测集的系统性、代表性与可解释性，同时，为后续按需筛选特定能力维度的评测子集、精准评估金融大模型在具体业务场景下的综合性能提供了坚实的数据基础。