高密度互联结构的人工智能推理服务方法及系统

本发明涉及GPU调度技术领域，具体公开了一种高密度互联结构的人工智能推理服务方法及系统，所述方法包括实时获取系统负载指标、资源健康指标与服务质量指标；基于系统负载指标计算负载压力系数，基于资源健康指标计算资源健康系数，根据负载压力系数和资源健康系数确定系统伸缩因子；基于服务质量指标计算服务质量系数；获取当前副本数量，根据所述系统伸缩因子、所述服务质量系数和当前副本数量确定目标模型副本数量；本发明建立了多维GPU资源健康监测体系，将GPU显存使用率与GPU利用率并行纳入资源健康评估，有效识别因显存不足等隐性瓶颈导致的性能退化风险，构建了面向负载、资源与服务质量的动态协同决策架构。