用于大型语言模型的解耦式推理系统

本公开涉及用于大型语言模型的解耦式推理系统。一种解耦式推理系统，包括：至少一个第一处理单元，其具有计算受限特性；以及多个第二处理单元，其具有存储器受限特性。至少一个第一处理单元被配置为执行语言模型推理过程的提示阶段，以及多个第二处理单元被配置为执行语言模型推理过程的响应阶段。