用于端侧大模型量化方案的评估方法及装置、电子设备

本申请涉及计算机技术领域，公开一种用于端侧大模型量化方案的评估方法及装置、电子设备，其中，评估方法包括：获取基准模型和测试数据集；根据待评估方提供的量化方案，对基准模型进行训练和量化，获得量化模型；基于测试数据集，对量化模型进行多维度测试，获得多维度测试数据；根据多维度测试数据进行综合评分，获得量化方案的评估得分。该方法的技术效果说明。通过使用统一的基准模型和测试数据集，确保不同待评估方所提供的量化方案的评估起点一致，以及测试过程的标准化和一致性，通过综合评分机制，能够平衡不同性能指标的重要性，将不同维度的测试数据整合为一个评估得分，对待评估方的端侧大模型部署能力进行准确的评估。