视觉动作联合建模与预测方法、装置、设备及介质

本发明涉及机器人控制技术领域，公开了一种视觉动作联合建模与预测方法、装置、设备及介质，包括：构建统一输入数据集合，对视觉图像和动作状态向量进行预处理与时间对齐生成标准化输入数据；将视觉图像输入视觉骨干网络得到视觉特征序列；将视觉特征序列送入时序建模模块生成融合时序上下文的特征表示；将融合时序上下文的特征表示输入动作预测分支生成动作预测向量；基于动作预测向量与示范标注生成训练损失项集合并联合更新模型，得到优化模型；基于优化模型构建对照模型并生成评估记录；基于评估记录确定优化配置并更新优化模型。本发明通过统一感知与预测并结合动态优化，提升精度和效率，增强复杂环境下的自主操作能力。