基于因果注意力无损加速算法的大模型训练方法、装置及设备

本说明书实施例公开了一种基于因果注意力无损加速算法的大模型训练方法、装置及设备，所述大模型训练方法包括：获取待训练的训练数据；基于所述待训练的训练数据，生成Query矩阵和Key矩阵；基于预设的分块数，对所述Query矩阵及所述Key矩阵进行分块，获得子矩阵网络；按照预设次数的结构化矩阵乘法，对所述子矩阵网络中的子块按照预设的线性组合规则进行计算，获得乘法结果；对所述乘法结果进行掩码乘法操作，获得掩码结果；将所述乘法结果与所述掩码结果进行加法操作，获得掩码注意力矩阵；基于所述掩码注意力矩阵，训练获得目标大模型。