一种模型推理部署方法、装置、电子设备及可读存储介质

本申请提供了一种模型推理部署方法、装置、电子设备及可读存储介质，其中，该方法包括：接收模型部署请求，包括目标GPU数量；采集服务器集群中各节点的可用GPU数量、型号、CPU核数、内存、网络拓扑和带宽；当单节点可用GPU均不足时，生成跨节点候选节点组合及其GPU分配数量；根据模型结构特征向量和可用资源信息评分，确定目标节点组合；计算各节点的CPU和内存配额；生成推理并行参数和分布式集群配置参数；将上述结果转化为部署对象，在各节点创建Pod以运行模型推理服务。通过该方法提高大模型推理服务的自动部署效率。