音频描述生成模型的训练方法及音频描述生成方法

本公开关于一种音频描述生成模型的训练方法和音频描述生成方法，包括构建包括长音频或长音视频的多媒体资源及其音频描述标签的样本数据集；以多媒体资源为输入，以音频描述标签为监督信息，对待训练的音频描述生成模型进行初次训练；以多媒体资源为输入，通过初次训练的音频描述生成模型生成多个第一候选音频描述文本；通过音频描述标签生成的第一问题集合对各个第一候选音频描述文本进行真实性验证，获取奖励值；确定每个第一候选音频描述文本中的每个词元的词元权重；进一步计算损失值，以对初次训练的音频描述生成模型进行再次训练，得到目标音频描述生成模型。本方法能够实现对长音频/长音视频的准确的篇章级细粒度音频描述生成。