Back to Search
Dossier
一种基于多模态混合专家模型的图文对齐方法及系统
InventionActive
9Claims · 2 independent
§ Ⅰ
Dossier Overview
Inventor
唐盖盖; 张会云; 李鑫; 王光辉; 申凌峰; 吕贺贺
IPC Classification
G06F 16/583 (2019.01)G06F 16/538 (2019.01)G06F 16/54 (2019.01)G06N 3/0895 (2023.01)G06N 3/0464 (2023.01)
本发明公开一种基于多模态混合专家模型的图文对齐方法及系统,该方法包括:构建多模态混合专家模型,包括异构专家协作模块、余弦相似度动态路由模块及差异感知对比学习模块;异构专家协作模块使用多个预训练视觉模型专家和多个预训练文本模型专家分别提取图像和文本的特征,并通过投影层将特征映射到统一维度的语义空间;余弦相似度动态路由模块基于余弦相似度计算不同专家的重要性得分,实现特征的自适应融合;差异感知对比学习模块计算图文特征间的相似度矩阵,结合基础对比损失和动态加权的硬负例损失进行多模态混合专家模型训练;基于多模态混合专家模型进行图像到文本或文本到图像的双向检索。本发明大幅提升了跨模态检索性能。
Sign in to read the full text
Claim 1 is shown. Create a free account to read all 9 claims, the full description, all drawings, translations and legal status.
- All claims
- Technical field
- Background
- Summary
- Drawing descriptions
- Detailed description
External Resources