一种基于对比学习与双阶段掩码的多模态数据特征表示优化方法

一种基于对比学习与双阶段掩码的多模态数据特征表示优化方法。该方法首先针对输入的单个图文对，通过施加两种掩码区域和比例不同的随机掩码策略，生成两组存在模态缺失的异构图文数据作为模型的两次输入。其中，第一组数据对图像施加高比例掩码，文本施加低比例掩码；第二组则对图像施加低比例掩码，文本施加高比例掩码。随后，两组数据分别通过共享参数的图像编码器和文本编码器，并经由跨模态融合编码器生成两个不同的多模态融合特征向量。该方法通过解码器恢复被掩码的模态信息，并计算恢复结果与原始数据差异的重建损失。同时，对两次生成的两个多模态融合特征向量进行对比学习，计算旨在拉近同一图文对在不同增强视图下特征表示距离的对比损失。最后，将重建损失与对比损失加权求和构成总体损失函数，通过反向传播对模型参数进行优化。训练完成的编码器用于下游多模态分类任务时，能有效提升模型的分类精度和泛化能力。