多模态联合训练平衡方法、装置、设备、存储介质及产品

本申请涉及一种多模态联合训练平衡方法、装置、设备、存储介质及产品，其中，方法包括：根据N个不同模态的输入图像对编码器、解码器和特征融合模块进行联合训练，以得到编码器的网络参数；评估多模态融合整体网络的网络学习状态，并根据网络学习状态计算对每个单模态网络的退化权重，且根据退化权重对多模态融合整体网络的网络权重进行调整，继续训练多模态融合整体网络，以在满足预设轮次的情况下，对编码器的网络参数执行退化操作。由此，解决了多模态联合训练方法大多基于横向比较各个模态的学习状态，往往忽略了不同模态在同一任务上的信息局限性，容易导致在特征融合过程中出现信息冗余、关键特征缺失或权重分配失衡等问题。