基于渐进式跨模态交互的轻量级机器人控制方法及相关设备

本发明公开了基于渐进式跨模态交互的轻量级机器人控制方法及相关设备，该方法包括：将观测图像输入视觉编码器，获取输出视觉特征；将文本指令输入文本编码器，获取输出文本特征；通过跨模态桥接，根据当前层全局文本特征以及上一层输出视觉特征，将当前层全局文本特征适配到视觉编码器，得到视觉编码特征；通过领域特定适配器，对输出文本特征进行微调，输出当前层输出文本特征；通过跨模态交互适配器，对视觉编码特征与当前层文本嵌入序列进行跨模态交互适配操作，得到当前层输出视觉特征；返回跨模态桥接的步骤，直至视觉编码器输出最终层输出融合特征；根据噪声向量以及最终层输出融合特征，输出机器人控制指令。