基于多模态Transformer的庭审核验方法

本发明公开了基于多模态Transformer的庭审核验方法，包括如下步骤：采集多模态信息数据，进行预处理和特征提取；输入至模态编码器进行维度调整和标准化处理；输入至TriMERT模型的融合模块，实现语义对齐和特征融合；输入至推理模块，进行多层特征编码和上下文建模；和词汇语义特征进行对比，生成生成核验信息并整合判定；计算模态贡献评分，对各模态进行特征加权和关键帧标注；整合核验判定结果和推理路径指示，并以结构化报告形式展示。本发明采用多模态Transformer建模方法，实现庭审语义核验与推理路径生成，具备融合度高、识别精准、可解释性强的优点。