模型推理方法、终端设备及计算机可读存储介质

本申请适用于大模型推理技术领域，提供了一种模型推理方法、终端设备及计算机可读存储介质，包括：获取预设大模型的多张静态计算图；其中，所述预设大模型用于根据输入信息进行推理计算，得到推理结果；所述静态计算图用于表示所述预设大模型从输入节点到输出节点的计算流程，不同的静态计算图所表示的计算流程不同；监测输入信息的实时并发量；从所述多张静态计算图中获取与所述实时并发量相匹配的第一计算图；根据所述第一计算图指示所述预设大模型对当前的第一输入信息进行推理计算，得到第一推理结果。通过上述方法，能够提高大模型的推理效率。