基于注意力机制的多模态特征融合商品高精度检索方法

本申请公开了一种基于注意力机制的多模态特征融合商品高精度检索方法，通过将原始场景图像转化为图像张量，并输入至目标检测模型中得到检测结果，根据检测结果对原始场景图像进行裁剪，得到独立商品子图；提取独立商品子图的二维视觉特征图，并转化为一维视觉特征序列向量；提取待检索目标SKU的属性信息，并生成与视觉特征序列向量同维度的语义特征向量；以语义特征向量为查询向量、视觉特征序列向量为键和值进行融合，得到多模态商品特征向量；根据多模态商品特征向量进行向量检索，并基于检索结果中图像的空间位置信息与特征向量进行二次比对去重，得到最终的检索结果。本申请提供的方法抗干扰能力强，细粒度区分精度高且扩展成本低。