南京磐数志星科技有限公司

本申请公开了一种基于模态失活正则的联邦多模态鲁棒训练方法，涉及数据处理领域。所述方法在联邦微调中设置模态级结构化失活机制，按预期模态缺失率随机屏蔽模态分支；设置完整模态与失活数据之间的一致性损失，约束不同模态配置下预测保持平滑稳定；设置面向多客户端的协同失活机制，使各轮训练覆盖多样模态组合，并与参数高效微调及联邦聚合联合执行。由此可提升模型在缺失模态、混合模态和异构终端条件下的训练稳定性、部署适配性与开销可控性，增强对未知缺失模式的泛化能力，适用于灾害信息分析、医学视觉问答和多模态内容安全识别等场景。