一种基于多模态输入的自动生成视频方法及系统

本发明涉及数字图像处理技术领域，具体涉及一种基于多模态输入的自动生成视频方法及系统，其方法包括：获取文本描述、参考图像和背景音频，提取文本语义特征、图像风格特征、音频情绪特征和音频时序特征；确定文本与图像的语义一致性、文本与音频的情绪一致性以及图像与音频的匹配关系，构建多模态协调权重矩阵；再将各输入与音频时序特征输入条件视频生成模型进行加权融合，生成目标视频。本发明能够提升生成视频的内容协调性、风格统一性和节奏匹配性。