大语言模型推理优化方法、装置、存储介质及计算机设备

本申请提供的大语言模型推理优化方法、装置、存储介质及计算机设备，获取多维度监测数据，然后将多维度监测数据输入至预先训练的环境决策网络，得到最优模型配置。之后根据多维度监测数据评估当前的资源状态，并根据资源状态和最优模型配置，确定最优执行路径。最后基于最优模型配置调整目标模型，并在目标模型的推理过程中，按照最优执行路径进行模型推理。在上述过程中，通过采集多维度检测数据来评估资源状态并确定最优模型配置，进而动态确定最优执行路径，这样能够依据实际运行时状态动态调整模型结构与计算策略，从而在保障推理精度的同时，有效降低响应延迟，提升资源利用效率。