基于负载聚集与服务器休眠的高能效边缘推理任务批处理方法

本发明公开了一种基于负载聚集与服务器休眠的高能效边缘推理任务批处理方法，涉及边缘服务器技术领域；是在边缘场景进行深度学习模型推理时，服务器集群如何根据任务的到达情况，将任务负载聚集到部分服务器，并使其余服务器休眠，以保证服务质量的同时提升服务器集群的能效。本发明方法首先对边缘服务器上的推理任务的数量与能效进行测量，从而拟合出数量到能效的映射函数；然后使用李雅普诺夫优化方法确定最优的批处理策略，并得到负载强度与批处理开销的映射函数；使用动态规划方法确定边缘服务器的休眠数量与负载聚集；最后使用二分图匹配方法确定休眠－边缘服务器向工作－边缘服务器的负载转移策略，执行业务转移与批处理策略，以实现高能效任务推理。