一种多模态事件证据驱动的航空维修人为差错智能归因方法及系统

本发明公开了一种多模态事件证据驱动的航空维修人为差错智能归因方法及系统，同时采集至少包括差错事件文本、现场设备操作图片、现场操作监控视频、飞参时序和操作日志的异构模态证据；针对各个异构模态证据分配相应的模态编码器，并进行特征抽取；按事件发生时间戳对各模态证据流进行时序对齐与质量评估；人因分析与分类系统对模态质量评估后的各个模态证据进行模态融合；对各模态证据间进行冲突检测，经人因分析与分类系统逐层归因后依次输出各层级的后验归因概率与候选节点，得到归因结论；针对归因结论进行多模态证据溯源，得到人为差错归因的原始证据。本发明将多类模态证据进行对齐、融合，解决传统方法只看文本以偏概全的核心问题。