内核级异构协同AI推理方法、装置、设备及存储介质

本申请公开内核级异构协同AI推理方法、装置、设备及存储介质，涉及AI推理加速领域。当KDS接收到用户空间提交的推理请求时，根据全局系统资源状态生成跨设备的计划列表并下发至HCEE；HCEE根据任务执行顺序驱动对应的目标执行设备，从UCMP中读取数据信息，或回存目标执行设备推理输出的中间/结果数据；当计划列表推理完成后，内核空间触发事件通知机制，唤醒用户空间的用户进程；用户进程直接从UCMP读取推理结果。本方案通过在Linux内核层面实现任务调度、内存管理与设备执行的深度协同，解决用户态推理框架系统开销高、资源孤岛、内存冗余拷贝与调度粒度粗放等问题，实现端到端低延迟、高吞吐与高能效的AI推理加速。