推理模型的剪枝方法、装置及设备

本实施例提供一种推理模型的剪枝方法、装置及设备，推理模型包括：多层注意力层，各层注意力层均包括至少一组查询投影权重和至少一个键值投影权重，一组查询投影权重包括多个查询投影权重，一个键值投影权重对应一组查询投影权重，该方法包括：获取各层注意力层在所述推理模型中的重要度；根据多层注意力层的重要度确定各层注意力层的剪枝率，注意力层的重要度和对应的剪枝率呈负相关关系；根据各层注意力层的剪枝率，对各层注意力层包括的查询投影权重进行剪枝，一层注意力层中各组查询投影权重中被剪除的查询投影权重的数量相同。