基于语义对齐与跨模态图融合的多模态命名实体识别方法

本发明属于自然语言处理与多模态信息抽取技术领域，具体涉及一种基于语义对齐与跨模态图融合的多模态命名实体识别方法，包括如下步骤：S1、获取包含文本序列与图像内容的数据样本；S2、分别对文本和图像编码成向量；S3、可训练的双线性函数计算相似度，通过对比损失进行优化；S4、使用跨模态注意力增强模态间的关联信息；S5、通过模态匹配模块确定保留图像信息的比例；S6、引入门控机制动态融合视觉与文本特征；S7、跨模态图融合模型实现局部与全局信息互补；S8、将融合后的表示输入CRF层预测实体类型。该方法可以在弱图文相关性语境下实现精细语义对齐以及在局部实体识别与全局语义理解之间取得平衡。