大语言模型推理引擎的配置参数优化方法和优化装置

本申请公开了一种大语言模型推理引擎的配置参数优化方法和优化装置。本申请确定预定服务器集群的配置参数和大语言模型的推理引擎的历史负载追踪数据后，根据历史负载追踪数据确定该集群的目标负载追踪数据，进而在各周期根据该集群在在前周期的性能评估结果更新配置参数的取值，直至迭代终止，进而确定配置参数的取值。在本发明实施例中，目标负载追踪数据根据与预定服务器集群的负载特征向量的匹配度确定，并通过对于目标负载追踪数据预先回放，并记录回放参数，在后续的配置参数调节过程中，根据回放参数仅需要回放部分目标负载追踪数据，由此本发明实施例能够通过优化配置参数有效提升推理引擎性能，同时降低参数优化对运算资源的消耗。