一种基于图像语义增强的多模态向量检索方法及系统

本发明公开了一种基于图像语义增强的多模态向量检索方法，包括对图像和文本输入分别进行编码，构建图文对数据集；采用双向注意力机制实现图文深度融合；对融合特征进行处理得到向量Z_；将不同内容存入不同子索引块，支持模态切换检索，构建向量索引库；采用模态门控权重调控机制，调节图像与文本模态的融合比重，生成查询向量Q_；对Q_与结构化索引库中的向量进行相似度匹配进行Top‑K候选召回；将Q_与Z_执行注意力加权聚合，生成上下文匹配表示，并与Q_比较计算相似度，得到排序分数；输出排序后的检索结果。本发明提供了一种基于图像语义增强的多模态向量检索方法及系统，实现跨模态语义融合表示、多模态输入支持、高效向量检索和语义重排序。