一种基于多模态混合专家模型的图文对齐方法及系统

本发明公开一种基于多模态混合专家模型的图文对齐方法及系统，该方法包括：构建多模态混合专家模型，包括异构专家协作模块、余弦相似度动态路由模块及差异感知对比学习模块；异构专家协作模块使用多个预训练视觉模型专家和多个预训练文本模型专家分别提取图像和文本的特征，并通过投影层将特征映射到统一维度的语义空间；余弦相似度动态路由模块基于余弦相似度计算不同专家的重要性得分，实现特征的自适应融合；差异感知对比学习模块计算图文特征间的相似度矩阵，结合基础对比损失和动态加权的硬负例损失进行多模态混合专家模型训练；基于多模态混合专家模型进行图像到文本或文本到图像的双向检索。本发明大幅提升了跨模态检索性能。