一种面向深度学习推理任务的服务器无感知计算显存管理方法

本发明为一种面向深度学习推理任务的服务器无感知计算显存管理方法，属于图形处理器资源管理技术领域，包括：相同用户属性任务共享GPU运行时，将当前推理任务调度至共享的运行时；运行时内部，不同推理任务分配独立的计算流，并配置计算资源隔离机制；在执行过程中基于推理任务中各中间变量与访问对应中间变量的计算核函数之间的映射关系，延迟中间变量的显存分配，直至首次被计算核函数访问前，且在中间变量最后一次被计算核函数访问完成后，主动释放其占用的显存空间；周期性地监测该GPU运行时上所有正在执行的推理任务的执行状态，预测未来一段时间内该GPU运行时的总显存需求以调整其显存池规模。本发明能提高GPU资源利用率和并发度。