基于低精度整数存储的大模型训练显存优化方法及系统

本发明属于大模型训练技术领域，公开了基于低精度整数存储的大模型训练显存优化方法及系统，所述方法包括：获取模型训练过程中的状态参数，以整数格式存储为整数值；通过动态比例因子反量化将整数值恢复为浮点进行计算，得到整数存储的训练框架；在整数存储的训练框架下，针对状态参数的不同数值分布特征，进行差异化的量化得到量化后的状态参数；基于量化后的状态参数，按照反向传播顺序，通过全局梯度堆栈结构管理量化后的状态参数的流动，从全局梯度堆栈结构中按顺序弹出状态参数用于更新模型参数，完成优化。本发明以整数格式存储，压缩显存占用。对存储的整数数据进行即时反量化，将其恢复为浮点表示后再参与计算与反向传播，兼顾了存储压缩率与训练稳定性。