处理请求的方法、装置、设备、介质和程序产品

根据本公开的实施例，提供了处理请求的方法、装置、设备、介质和程序产品。该方法包括：响应于接收到会话请求，由调度单元分配权重服务节点和注意力服务节点；在预填充阶段，由权重服务节点，基于会话请求所对应的完整输入序列，生成与完整输入序列对应的键值缓存信息，其中与预填充阶段对应的注意力计算在权重服务节点处执行；向注意力服务节点传输键值缓存信息，以在注意力服务节点维护键值缓存信息；在解码阶段，由权重服务节点，确定新令牌的特征表示；由注意力服务节点基于键特征和值特征更新键值缓存信息，并基于查询特征确定新令牌的注意力信息；由权重服务节点基于注意力信息，解码得到新令牌。本公开有效提高了会话请求对应的处理效率。