基于投影适配机制的多模态联邦学习方法与系统

本发明涉及人工智能技术领域，提供一种基于投影适配机制的多模态联邦学习方法，由服务器端加载预训练的跨模态主干模型，并完成投影适配模块的参数初始化。服务器端将全局模型分发至各客户端，客户端使用本地多模态数据开展训练，训练过程中仅更新投影适配模块参数，跨模态主干模型参数保持固定，同时采用对称交叉熵损失函数并计算文本特征和图像特征的相似度矩阵。客户端将更新后的适配模块参数上传至服务器端，服务器端通过加权平均方式对这些参数进行聚合，得到更新后的全局适配模块。本发明还公开了一种用于上述方法的系统，该方法和系统在多客户端持有异构数据的复杂环境下，仍能实现与传统集中式训练相当的模型准确率，且兼顾训练效率、隐私安全与性能表现。