中视天合信息科技有限公司

本发明公开了一种基于媒体领域知识图谱的跨模态语义检索方法及装置，其中该方法包括：接收多媒体检索请求，识别其模态类型，调用对应模态特征提取模型获取原始特征，映射至统一校准语义空间得到查询语义向量；根据查询语义向量与跨模态素材向量库内每一模态多媒体素材语义向量的空间坐标，确定二者相似度；其中，基于历史多媒体素材构建媒体领域知识图谱，抽取实体语义三元组构造约束损失，对多个模态特征提取模型同步联合训练，训练时生成各语义向量均配唯一空间坐标的统一校准语义空间；基于相似度检索得到跨模态结果。本发明可根据单一模态检索请求搜索其他模态相关素材，减少匹配偏差、避免素材遗漏、筛除无关素材，提升跨模态检索精度。