基于深度展开网络的智慧交通大语言模型分布式剪枝方法

本发明涉及大语言模型剪枝优化技术领域，具体公开了基于深度展开网络的智慧交通大语言模型分布式剪枝方法，包括：将大语言模型剪枝任务建模为分布式优化问题，对每个transformer层做逐层剪枝；采用ADMM求解分布式优化问题；将ADMM展开为深度神经网络结构，深度展开网络由层网络块组成，每个块包含一个局部权重更新模块、一个全局稀疏更新模块、一个对偶变量更新模块，对应于一次ADMM迭代；在剪枝优化框架中引入异步通信机制。本发明采用上述方法，提升了交通大语言模型在出行服务、交通预测及调度优化中的可部署性与实时性，显著提升了收敛速度与训练效率，适用于跨路口、跨区域的大规模智慧交通边缘部署环境。