面向民族服饰的细粒度视觉-语言联合表征与跨民族关系建模方法

本发明涉及人工智能与数字图像处理技术领域，公开了面向民族服饰的细粒度视觉‑语言联合表征与跨民族关系建模方法。该方法获取民族服饰图像，输入至深度卷积网络中进行特征提取，获取民族服饰图像的多尺度视觉特征表示以及视觉分类结果；根据文化特征提示模板，将图像输入至模型中，生成多维度结构化文化语义描述并进行向量化编码，与视觉特征表示进行融合，构建视觉‑语义联合特征；获取同民族类别下多个样本的文本语义嵌入向量进行特征聚合，构建民族级语义表征；基于不同民族类别的民族级语义表征计算语义相似度，据此构建跨民族文化语义关系图结构；利用分类网络得到民族服饰类别识别结果。本发明提高民族服饰识别的准确性与可解释性。