推理方法及内容分发网络

本申请提供了一种推理方法及内容分发网络；其中，内容分发网络包括：中心节点与多个边缘节点；方法包括：边缘节点接收用户侧发送的第一推理请求，并确定第一推理请求对应的用户标签与提示文本；边缘节点基于用户标签与提示文本，在预存储的多个缓存条目中匹配第一缓存条目，得到匹配结果；在匹配结果表征匹配到了第一缓存条目的情况下，边缘节点基于第一缓存条目对应的键值缓存，进行大模型推理中的解码处理；在匹配结果表征未匹配到第一缓存条目的情况下，边缘节点向中心节点发送第一推理请求，以使中心节点基于第一推理请求进行大模型推理中的预填充处理与解码处理。