一种复杂场景失败事件注入的多模态数据生成方法及其系统

本发明公开了一种复杂场景失败事件注入的多模态数据生成方法及其系统，属于计算机数据生成技术领域。步骤1：构建失败动作与恢复动作，包括原始脚本获取与扩展以及规则化失败类型定义与实现；步骤2：基于步骤1构建的失败动作与恢复动作，生成多模态数据；步骤3：基于步骤2生成的多模态数据，通过质量控制、模板设计、真值标注与数据划分，形成可直接用于VLMs失败感知评估的数据集。本发明用于构建多模态推理数据集，该数据集包含各类失败事件及其对应的恢复动作，并基于多模态数据和注释文件构建了视频问答对形式的评估数据。