一种多模态协同竞争优化方法、装置及任务推理方法

本发明公开了一种多模态协同竞争优化方法、装置及任务推理方法，涉及人工智能领域，用以增强协同信息表示。获取多模态数据样本，对多模态数据样本进行编码和扰动，以获得各模态数据的潜在表示和扰动表示；分别基于潜在表示和扰动表示进行单模态预测、联合预测和扰动预测，根据各类型预测结果计算总损失，依据计算的总损失进行多模态学习。本申请通过反主导目标引导融合网络抑制对任一单模态数据的依赖，通过协同目标引导融合网络显示增强协同信息，利用自适应门控机制，根据多模态数据样本的单模态熟练度，动态激活协同增强正则化项。本申请协调地交织平衡模态利用与协同信息发现，以显著提升依赖协同信息的推理任务增益。