一种分布式缓存的无状态路由方法

本发明公开一种分布式缓存的无状态路由方法，涉及分布式计算与人工智能推理领域。该方法在配置阶段根据各候选节点的预设权重值校准得到校准偏置值，并以配置快照的形式发布；在请求阶段，对多轮对话推理请求进行请求解析确认会话标识信息，对会话标识与节点标识执行联合哈希并归一化得到伪随机变量，将伪随机变量与校准偏置值之和作为路由指标，选择路由指标最大的节点作为目标存储节点并转发请求，由该节点复用本机存储的历史KV Cache。本方法将概率校准移至配置阶段，请求阶段仅需哈希、加法和比较运算；在理想独立连续均匀哈希模型下，经校准后各节点被选概率等于其权重占比，实际实现按误差阈值验证。