基于内在几何偏置选择的鲁棒联邦视觉语言适配方法

本发明属于基于特定计算模型的计算机系统的技术领域，尤其涉及基于内在几何偏置选择的鲁棒联邦视觉语言适配方法。所述方法在冻结预训练视觉编码器与文本编码器主干参数的前提下，仅解锁各Transformer 前馈网络输出投影中的偏置参数，构建极小规模的内在可训练集合；客户端在本地训练时利用交叉熵损失梯度估计经验 Fisher 信息，对各可训练偏置坐标的局部敏感度进行打分，并基于渐进式个性化掩码机制，将偏置坐标划分为可共享坐标与个性化坐标；可共享坐标参与服务器端聚合，个性化坐标保留在客户端本地；在本地训练过程中，对可共享坐标施加Fisher加权近端约束，并利用冻结教师模型进行图像特征与文本特征蒸馏，以提高在多域分布偏移及标签分布偏移条件下的鲁棒性。