用于训练深度学习模型的系统与方法

一种用于训练深度神经网络的系统、方法和计算机程序产品。深度神经网络可以被训练以最小化熵约束目标函数,该函数被定义为约束深度神经网络权重参数的熵。目标函数可以被定义为联合最小化深度神经网络在执行预测功能时的损失以及深度神经网络量化权重参数的熵。目标函数还可以被定义为最小化深度神经网络量化激活的熵。这可以在深度神经网络的预测准确度和编码深度神经网络时可实现的压缩之间提供改进的权衡。