一种联邦学习中基于多视图域的多模态异构数据融合方法

本发明涉及一种联邦学习中基于多视图域的多模态异构数据融合方法，属于多模态数据融合领域。所述方法，首先，在云端设计基于多视图域的多模态异构数据融合模型及设计本地决策界自适应调整策略；其次，基于自适应损失策略对多模态融合模型进行学习，得到具有本地特征的本地模型；最后，在云端通过平均聚合的方式对本地模型进行聚合。本发明在保护用户隐私的前提下实现了共享模型的分布式训练，解决异构多模态联邦学习场景中，由于耦合的模态和类别异构导致的愈发复杂的域漂移和长尾问题。有效地缓解了多模态联邦学习场景中复杂的数据异构引起的模型分歧，增强了模型在不同视图域上的可靠性，同时提升了所有视图域的泛化能力。