一种用于NPU异构场景的推理可信执行方法及装置

本发明提出一种用于NPU异构场景的推理可信执行方法，包括：将大语言模型推理模型部署至配备有CPU和NPU的服务器，CPU通过其具有的可信执行环境与NPU建立安全通信链路；当服务器执行大语言模型推理模型的计算任务时，获取当前计算任务的模型权重和输入向量，并生成安全元数据，安全元数据包括：用于加密权重的临时密钥、基于模型权重Wq和计算任务的ID生成MAC校验码；以临时密钥对Wq权重加密后通过安全通信链路发送给NPU，NPU将其解密并存储在受保护的片上内存中，同时NPU更新其本地的安全上下文；NPU的安全协处理器根据安全上下文中MAC校验码，验证原始数据是否完整，若是，则NPU授权主计算单元执行计算任务；NPU完成计算后，将结果加密返回给可信执行环境。