计算设备、计算系统和计算系统的操作方法

本公开涉及计算设备、计算系统和计算系统的操作方法。人工智能推理计算架构将使用跨多个用户会话重复使用的共享键值缓存的注意力处理与使用用户特定键值缓存的注意力处理分开，从而提高使用人工智能模型执行推理的计算系统的吞吐量和资源利用率。