面向大模型的词元计量方法、系统、装置及人工智能网关

本申请公开了一种面向大模型的词元计量方法、系统、装置及人工智能网关，属于人工智能领域。所述方法应用于人工智能网关，所述方法包括：接收模型处理请求对应的响应数据流，响应数据流是模型服务器调用大模型处理客户端的模型处理请求生成的；在响应数据流中的目标响应分片表征响应数据流结束的情况下，解析目标响应分片中的词元数量字段得到第一词元数量；第一词元数量为模型处理请求所消耗的词元数量。本申请通过在人工智能网关上部署词元的计量逻辑，可以适用于各种模型服务器，无需对客户端和模型服务器进行改动。