一种机器人模仿学习系统、方法、电子设备及介质

本申请提供了一种机器人模仿学习系统、方法、电子设备及介质，其中，该方法包括：多模态感知模块用于采集机器人作业环境的感知数据；特征编码与用于对感知数据进行特征编码，得到对应的视觉特征向量、触觉特征向量、语言特征向量和关节特征向量，并将全部特征向量对齐到统一的时间序列上；跨模态对齐与融合模块用于通过融合网络生成融合后的多模态协同表征；动作预测与控制模块用于对多模态协同表征进行解码，生成机器人的动作指令，并基于实时反馈的触觉数据与关节传感器数据对动作指令的执行进行闭环控制与错误恢复。通过本申请，实现了机器人更稳健闭环控制，提升了机器人精细操作能力。