一种多模态讽刺表达检测识别方法、电子设备及程序产品

本发明公开了一种多模态讽刺表达检测识别方法，该方法使用预训练模型BERT和ViT，对输入的文本和图像模态进行特征提取，获得包含提取特征的文本嵌入和视觉嵌入，然后通过交叉注意机制进行文本和图像模态这两个模态间的交互和对齐，并计算不同模态表示的内积以实现模态间原子级的一致性，最后通过分类，判断输入是否包含讽刺表达。采用BERT模型捕捉文本单词之间的依赖关系和语义关系，采用ViT模型将图像切分为patch并分析其中的视觉特征，实现对文本和图像的特征提取。对提取到的文本和图像特征使用基于h个头部的交叉注意机制，实现不同模态间的交互和对齐。