一种面向多模态检索的视觉属性感知表示聚合方法

一种面向多模态检索的视觉属性感知表示聚合方法，构建统一多模态编码骨干，通过自注意力实现跨模态交互，输出上下文表征并定义归一化检索空间；构建角色化解耦聚合模块，设置共享语义、图像专属和文本专属三类可学习聚合token，按模态激活对应角色子集，经交叉注意力独立读出后池化为检索向量；构建通用视觉属性对齐模块，训练阶段利用视觉语言模型生成属性描述作为参照，在低维子空间对图像专属表示施加InfoNCE对比约束；训练时联合优化主检索损失与属性对齐损失，采用warmup策略先建立检索空间再引入属性监督；推理时移除属性对齐模块，仅使用编码骨干与聚合模块完成相似度计算与排序。该方法能有效缓解多模态检索中视觉属性证据建模不足的问题。