中流处理流式传输输入以生成流式传输输出

本文描述了用于处理时变输入数据的流以实时或近实时地生成/预测时变输出数据的流的实现方式。在各种实现方式中，在接收诸如音频输入帧的流的输入帧的流的同时，可以(例如，在中流)对到当前时间步为止接收到的音频输入帧进行词元化以生成音频输入词元的流。基于Transformer的因果注意力模型可用于预测音频输出词元的流，例如，通过将基于Transformer的因果注意力模型迭代地应用于：到当前时间步为止词元化的音频输入词元中的至少一些音频输入词元，以及到当前时间步为止预测的音频输出词元中的至少一些音频输出词元。可以对音频输出词元的流进行去词元化以生成音频输出帧的流。