用于安全执行人工智能AI模型的方法及系统

本发明公开了用于安全执行人工智能AI模型的方法及系统。该模型的权重存储在可被神经处理单元NPU和在主处理器安全世界中运行的可信执行环境TEE访问的安全存储器中。该安全存储器无法被在主处理器普通世界中运行的进程访问。由该TEE中的安全进程准备该AI模型以进行推理操作。该NPU通过分配有专用于该NPU驱动程序与该NPU之间通信的硬件的受保护通道，接收来自在主处理器普通世界中运行的NPU驱动程序的执行该AI模型的请求。该NPU使用存储在该安全存储器中的已准备好的AI模型生成推理输出。该NPU将该推理输出存储在受保护存储器中，以便主处理器普通世界中的虚拟机VM访问。