一种面向AI加速芯片的大模型推理执行方法及系统

本发明提出一种面向AI加速芯片的大模型推理执行方法及系统，涉及人工智能和大规模语言模型推理技术领域。本发明将请求排队、batch选择、KV页表分配等动态调度逻辑保留在第一运行时环境（如Python前端），将模型权重、NPU runtime、KV cache、通信域和算子调用下沉到第二运行时环境（如常驻C++后端），并通过结构化推理元数据连接二者，使后端无需重新推断调度状态即可驱动AI加速芯片执行。