一种基于语义一致性引导的多尺度视觉定位方法及系统

本发明涉及视觉语言融合定位技术领域，公开了一种基于语义一致性引导的多尺度视觉定位方法及系统，包括：基于Stanza句法分析模型提取名词短语，基于预训练的BEiT‑3图文编码模型分别生成文本语义特征、短语语义特征、视觉特征；通过名词短语特征与视觉特征的注意交互计算文本一致性约束损失，同时生成概念级语义热力图；基于该语义热力图，对由特征金字塔网络生成的多尺度视觉特征施加与语义响应对应的权重；根据加权后生成的多尺度视觉特征，通过可变形注意力模块对候选区域开展基于偏移量的自适应采样并完成多尺度候选框生成；本发明解决了现有模型候选区域生成缺乏语义指向性的问题，并改善了特征冗余、语义对齐不稳的问题。