音频生成方法、空间音频生成模型的训练、预训练方法

本说明书实施例提供音频生成方法、空间音频生成模型的训练、预训练方法，其中音频生成方法包括：获取目标图像；基于目标图像的空间布局信息，对目标图像进行视觉编码，获得视觉空间特征；对视觉空间特征和随机噪声的音频特征进行融合，获得视觉空间音频特征；对视觉空间音频特征进行变换映射处理，生成目标图像对应的空间音频数据。通过获取目标图像，基于目标图像中的空间布局信息进行视觉编码，能够精准捕捉图像中的空间信息，为后续音频生成提供贴合空间内容的视觉基础；通过对融合后的视觉空间音频特征进行变换映射处理生成空间音频数据，能基于目标图像的视觉信息生成与空间视频高度适配的空间音频，从而使音频内容精准贴合视频内容。