一种基于多模态情感识别的AI自动伴奏系统及方法

本发明涉及人工智能与音乐技术领域，且公开了一种基于多模态情感识别的AI自动伴奏系统及方法，该系统包括：多模态信号采集模块，用于同步采集用户的视觉与音频信号；多模态情感计算引擎，用于处理所述信号，其通过基于注意力机制的特征融合单元动态加权融合视觉与音频情感特征，输出综合情感向量；AI音乐动态生成模块，用于以所述综合情感向量和用户音频为条件，通过一生成式音乐模型实时生成与之情感匹配的伴奏音频；以及音频混合与输出模块。本发明通过多模态融合提高了情感识别的鲁棒性，并能动态生成与演奏者情感状态高度协同的伴奏，实现了更为自然、富有表现力的人机交互演奏体验，适用于音乐表演、教育及治疗等领域。