AI模型训练过程中的静默数据错误检测方法及相关设备

本申请提供一种AI模型训练过程中的静默数据错误检测方法及相关设备，通过在AI模型训练过程中，采集部署了AI模型的计算节点上运行的属于AI模型的第一网络层(为AI模型包含的多个网络层中的一个网络层或者一个网络层的部分)的激活值梯度，然后将采集的第一网络层的激活值梯度的范数与预设阈值比较，确定第一网络层的激活值梯度的范数是否异常，在确定第一网络层的激活值梯度的范数异常时，反推出第一网络层的激活值梯度异常，基于第一网络层的激活值梯度异常又可以反推出第一网络层的训练过程异常，进而反推出第一网络层所部署的计算节点发生静默数据错误，从而确定AI模型训练过程中发生静默数据错误。