一种基于资源感知的嵌套多模态适配器个性化联邦学习方法

本发明涉及联邦学习与多模态模型训练技术领域，具体为一种基于资源感知的嵌套多模态适配器个性化联邦学习方法，包括以下步骤：S1：初始化：服务器初始化预训练视觉语言模型主干、最大共享投影空间、客户端集合、客户端资源信息、适配器容量层级集合以及安全聚合相关参数。本发明通过客户端计算、通信和存储资源差异，为不同客户端分配不同容量的多模态适配器结构，使低资源客户端能够以较小训练开销参与联邦训练，同时使高资源客户端能够充分利用其本地计算能力，提高资源异构环境下模型训练的适应性。