基于模型量化和双阶段模型微调的分布式联邦学习模型协同优化方法及系统

本发明公开了一种基于模型量化和双阶段模型微调的分布式联邦学习模型协同优化方法及系统。其中，方法包括如下步骤：首轮训练，客户端使用初始化全局模型训练生成本地模型，当客户端收到全部相邻客户端的本地模型参数后，进行模型聚合，生成全局模型；对全局模型进行双阶段微调处理，保持全局模型性能；后续多轮训练；判断全局模型是否达到精度阈值或者预定轮数。本发明提出的分布式联邦学习架构下的1‑bit量化和基于知识蒸馏的双阶段模型微调方案能够很好的解决现存模型优化技术中的通信带宽高、精度差、安全性低和泛化能力弱等亟待解决的问题。