算力异构场景下实现分布式多模态大小模型协同训练方法、装置及系统

本发明公开了一种算力异构场景下实现分布式多模态大小模型协同训练方法、装置及系统，该方法包括：中心节点获取各参与方节点上传的子知识集合，子知识集合包括参与方节点从中心节点发布的训练数据中选择的适用本地多模态小模型的子数据集、基于子数据集对本地多模态小模型进行迭代训练后重新获得的子数据集中样本数据的嵌入特征、以及更新后的正确文本描述和错误文本描述；利用各参与方节点上传的子知识集合，对多模态大模型进行微调；利用公共数据对微调后的多模态大模型进行训练，得到本轮次知识集合；将本轮次知识集合下发给各参与方节点。利用本发明方案，可以实现中心节点多模态大模型与协同训练的各参与方节点多模态小模型的双向增强。