基于多模态和窗口注意力机制的语言不流畅检测方法

本申请属于语音处理技术领域，具体公开了一种基于多模态和窗口注意力机制的语言不流畅检测方法，该方法包括：构建检测模型，所述检测模型用于：将输入音频转化为文本和时间戳信息；提取输入音频的声学特征和文本的语义特征，并将所述时间戳信息转化为停顿向量；将所述语义特征和所述停顿向量拼接为文本表示，并将文本表示中的每个token分别填充至相同时间步的声学特征中，获得融合后的特征；基于融合后的特征，获得输入音频的语言不流畅具体时间和不流畅类别；基于预设数据集，对所述检测模型进行训练，获得训练完成的检测模型；将待检测音频输入训练完成的检测模型，获得待检测音频的语言不流畅具体时间和不流畅类别。