大语言模型的剪枝方法、设备和存储介质

本申请提供大语言模型的剪枝方法、设备和存储介质，方法包括：确定大语言模型中待剪枝的各个线性层在不同剪枝率下的剪枝损失，得到各个线性层对应的剪枝损失集；大语言模型包括待剪枝的多个线性层；每个剪枝损失集包括多个剪枝损失，不同剪枝损失对应不同剪枝率；根据剪枝损失集中的剪枝损失，确定剪枝总损失最小的剪枝率组合；剪枝率组合包括多个线性层中的每个线性层的剪枝率，剪枝率组合中的剪枝率的数量与多个线性层的数量相同；剪枝总损失为剪枝率组合中的各个剪枝率对应的剪枝损失的总和；根据剪枝总损失最小的剪枝率组合中的剪枝率，对大语言模型中的多个线性层进行剪枝。该技术方案有利于最大化减少大语言模型中的参数的数量。