一种基于层级重要性的大模型动态压缩方法及系统

本发明公开了一种基于层级重要性的大模型动态压缩方法及系统，首先采集大模型在样本数据集上的层级输出特征并计算大模型各层级的层级贡献度，再基于大模型各层级的层级贡献度计算大模型各层级的层级净贡献值，接着确定各层大模型性能崩溃的临界极值点并作为压缩阈值，再根据层级净贡献值、压缩阈值及目标稀疏度测算各层级的压缩比例并执行结构化剪枝、混合精度量化或层级自适应蒸馏；本发明实现了具有采用层级重要性差异化压缩的方式对大模型进行精确压缩的功能，且通过动态规划机制能根据不同任务场景调整压缩指标，同时层级重要性参数量化使得压缩策略具备了明确的技术依据，不仅提高了大模型的压缩精度和压缩效率，还提高了系统的适用性。