基于大模型的GPU服务器运算能力动态适配优化方法

本申请涉及算力资源调度技术领域，具体涉及基于大模型的GPU服务器运算能力动态适配优化方法，该方法包括：计算在线业务与离线任务的显存占用率，以确定系统总显存占用率，用于构建观测序列；基于离线任务的显存占用率与系统总显存占用率计算理论排队延迟，利用观测序列及隐马尔可夫模型参数推断拥塞状态的置信度概率；基于理论排队延迟与拥塞状态的置信度概率，生成综合拥塞评估值，并结合在线业务的显存占用率计算资源抑制系数，以对离线任务执行流量整形，获取在线业务的实际服务质量反馈对是否触发资源抑制的安全阈值进行校正。本申请解决了低频监控无法捕捉瞬时显存拥塞的问题，提升了GPU混合部署效能。