一种基于自注意力的多模态联邦学习方法

本发明公开了一种基于自注意力的多模态联邦学习方法，涉及数据处理领域，首先，在客户端设计多模态特征编码模块，分别基于Transformer架构对图像与文本模态进行深层语义建模，捕捉各模态内部结构信息；其次，引入局部跨模态自注意力建模模块，通过双向交叉注意机制建模图文间的细粒度语义对齐，增强局部跨模态理解能力；进一步结合多头协同融合优化模块，在多注意力视角下进行模态间深层语义协同建模，并通过门控机制优化融合效果，有效缓解模态间冲突与表达不一致问题。