基于脉冲神经网络的交互控制方法、装置、设备及介质

本发明涉及人工智能技术领域，公开了一种基于脉冲神经网络的交互控制方法，包括：获取多模态信号，并对所述多模态信号进行预处理，生成多模态数据集合；将所述多模态数据集合输入脉冲神经网络中，输出运动执行指令和用户意图特征；将所述多模态数据集合输入脉冲卷积胶囊网络中，输出情绪分类结果；通过脉冲强化学习引擎根据情绪分类结果和所述用户意图特征生成多模态反馈策略；基于所述运动执行指令控制机器人和/或机械臂执行动作，并结合多模态反馈策略驱动虚拟化身与多感官反馈模块执行共情操作。本发明通过脉冲神经网络融合EEG信号与机器人传感器数据，实现情感识别、驱动虚拟化身及多模态交互，为残障群体等提供高共情、低负担的陪伴体验。