基于属性级最优传输对齐的图像分类方法及系统

本发明公开了基于属性级最优传输对齐的图像分类方法及系统，该方法首先将输入图像划分为图像块，附加类标记向量，通过编码器形成类标记向量和视觉特征向量。其次基于类标记向量，提取视觉属性特征，并构造提示语句，经过文本编码器得到文本属性特征。然后基于视觉属性特征与文本属性特征构建属性级代价矩阵，计算得到视觉属性和文本属性之间的属性级相似度；根据文本属性特征，计算得到属性级预测概率，并应用自注意力机制，得到全局特征预测概率。最后对属性级预测概率与全局特征预测概率进行加权融合，得到最终类别预测概率。本发明实现对图像语义与属性特征的协同学习，使图像分类具有更高的准确性与可解释性。