基于大模型的推理系统

本公开提供了基于大模型的推理系统，涉及数据处理技术领域，尤其涉及大模型、深度学习、智能搜索等技术领域。具体实现方案为：传输引擎，为大模型的预填充节点和解码节点建立传输通道；预填充节点和解码节点用于处理同一目标推理请求；预填充节点，将处理目标推理请求所得到的键值对信息存储到本地的第一显存；通过传输通道，将第一显存中的键值对信息存储到解码节点的第二显存中；确定键值对信息完整存储到第二显存的情况下，通过传输控制协议TCP协议向解码节点发送通知消息；解码节点，响应于通知消息，处理第二显存中的键值对信息，得到目标推理请求的处理结果。