轻量化推理加速的大模型层修剪方法、装置、设备及介质

本发明属于计算机人工智能领域，本发明提供了一种轻量化推理加速的大模型层修剪方法、装置、设备及介质，其中方法包括：初始化原始模型的模型参数和剪枝状态；获取原始模型的Transformer层的输出张量，根据输出张量对Transformer层进行逐层的余弦相似度计算，得到相邻Transformer层对间的相似度矩阵；根据相似度矩阵，采用聚类算法进行动态层次聚类分组处理，得到Transformer层的类别聚类结果；根据目标函数及类别聚类结果，对原始模型采用迭代渐进式层修剪策略进行处理，得到原始模型的层修剪结果。本发明的有益效果为：提高了大模型的推理速度，降低模型推理时的系统资源消耗。