基于细粒度语义解耦的跨模态语义对齐方法、装置及设备

本发明提供基于细粒度语义解耦的跨模态语义对齐方法、装置及设备，该方法包括：将待对齐图像输入跨模态语义对齐模型的预训练图像编码器中，获得全局语义特征，同时在所述图像编码器的高层编码块中使用语义特征提取模块并基于预设查询向量进行高层视觉特征提取，得到视觉细粒度语义特征，并输入语义特征解耦模块中进行解耦，得到属性、对象及组合的细粒度语义特征；将待对齐图像中属性、对象及组合对应的提示词输入文本编码器中进行文本特征提取，得到属性、对象及组合的软提示文本特征；将全局语义特征、属性、对象、组合对应的细粒度语义特征及软提示文本特征输入损失计算模块中进行图文对齐，并对对齐结果进行线性处理，得到对齐预测结果。