支持多模态异构客户端的联邦大模型知识协同训练方法

本发明公开了一种支持多模态异构客户端的联邦大模型知识协同训练方法，包括：各客户端接收中央服务器端下发的模型初始化参数，基于本地私有数据并施加自适应差分隐私噪声独立训练异构轻量模型；将施加噪声后的模型更新及其模态标识上传至中央服务器端；接收各客户端的模型更新及模态标识后，基于模态感知加权共识融合机制，融合各客户端知识以更新全局大模型；中央服务器端将更新后的全局大模型的表示层参数下发至客户端，用于下一轮本地训练的初始化。本发明无需依赖公共数据集或特定任务设定的前提下，实现了对数据异构性、客户端动态参与、模型多样性及隐私保护需求的全面兼容，显著提升了大模型联邦训练的适应性、稳定性与知识利用效率。