基于内在几何偏置选择的鲁棒联邦视觉语言适配方法
本发明属于基于特定计算模型的计算机系统的技术领域,尤其涉及基于内在几何偏置选择的鲁棒联邦视觉语言适配方法。所述方法在冻结预训练视觉编码器与文本编码器主干参数的前提下,仅解锁各Transformer 前馈网络输出投影中的偏置参数,构建极小规模的内在可训练集合;客户端在本地训练时利用交叉熵损失梯度估计经验 Fisher 信息,对各可训练偏置坐标的局部敏感度进行打分,并基于渐进式个性化掩码机制,将偏置坐标划分为可共享坐标与个性化坐标;可共享坐标参与服务器端聚合,个性化坐标保留在客户端本地;在本地训练过程中,对可共享坐标施加Fisher加权近端约束,并利用冻结教师模型进行图像特征与文本特征蒸馏,以提高在多域分布偏移及标签分布偏移条件下的鲁棒性。