一种显卡资源负载均衡的控制方法及系统

本发明涉及显卡资源调度技术领域，公开了一种显卡资源负载均衡的控制方法及系统。其中，方法包括：构建包含实际GPU显存占用与利用率的样本集；构建GPU显存预测函数与GPU利用率预测函数；通过软约束匹配机制判定当前任务可调度性；执行任务的GPU目标分配；采用多级KV缓存分块回收机制进行动态调度。相较于现有技术中仅采用静态配置或单一指标进行GPU负载估算的方式，尤其是在LLM类模型推理阶段Token长度不确定性大和KV缓存动态膨胀明显的场景下，难以实现精确显存资源调度控制的技术问题，由于本申请通过引入基于多变量预测模型与混合优先调度机制，提高了GPU在大语言模型推理任务中的负载稳定性。