AI推理卸载调度方法、装置、电子设备和可读存储介质

本申请公开了一种AI推理卸载调度方法、装置、电子设备和可读存储介质，属于AI推理技术领域。包括：获取多个用户请求，当用户请求的数量达到数量阈值时，确定每个用户请求对应的键值缓存，以及，每个用户请求的优先级，然后基于所述优先级的高低顺序对各个用户请求对应的键值缓存进行卸载。通过上述方式，可以按照一定的预测窗口大小将新来的用户请求进行缓存，用于LLM推理的同时，可以同步分析它们的卸载优先级，这样可以不对LLM推理造成影响。