北京人形机器人创新中心有限公司

本申请提供了一种面向异构关节的机器人控制方法、装置、设备和介质，该方法包括：获取针对目标机器人的动作执行指令，根据目标动作的信息，从预设动作文件中确定与目标机器人上目标异构关节支持的数据类型匹配的目标关节运动信息，预设动作文件包括：各机器人动作下与目标机器人上对应异构关节支持的数据类型匹配的关节运动信息，关节运动信息包括：关节位置序列以及对应的关节速度序列，根据目标关节运动信息，控制目标异构关节进行运动，以使得目标机器人执行目标动作。从而自适应输出与异构关节支持的数据类型匹配的关节运动信息，并且通过位置和速度的协同控制，使得动作控制更加细腻自然，消除纯位置控制的僵硬，提升运动仿生自然感。

本公开提供了一种具身智能机器人模型训练方法、设备及介质，所述方法包括：将任务指令输入至具身智能机器人模型，在仿真环境中对所述具身智能机器人模型进行视觉‑语言‑动作混合训练；在所述视觉‑语言‑动作混合训练过程中，所述具身智能机器人模型通过视觉感知识别设备状态，根据所述任务指令控制仿真机器人执行动作，以完成所述任务指令对应的任务。本公开能够避免误差累积问题，实现更准确的任务理解和动作执行。

本申请提供了一种机器人动作与音频对齐方法、装置、设备及介质，该方法包括：获取针对机器人的复合序列指令，复合序列指令包括动作列表与音频列表；对音频列表中的各音频进行格式转换，构建音频项；对音频项与动作列表中的对应动作进行绑定，得到播放组；根据播放组中音频的实际时长和对应动作的原始时长，对播放组中的动作和音频进行时长对齐，得到时长对齐后的播放组；基于对齐后的播放组，控制机器人播放音频并执行对应动作。有效解决机器人演艺过程中语音与动作首尾不同步的问题。

本公开提供了一种动作预测方法、解码器训练方法及系统，其中动作预测方法，包括：基于预设采样算法对候选动作序列进行采样；根据当前观测的上下文词元序列，通过动作查询解码器预测得到目标时间步的状态表征；基于状态表征和目标表征，采用预设代价计算公式，分别计算候选动作序列的规划代价；根据规划代价筛选候选动作序列，更新当前采样分布，直到预设采样算法达到预设收敛条件；基于收敛后的采样分布确定目标动作序列，并将目标动作序列中的目标动作加入目标机器人的执行序列。本公开可以使得机器人动作规划更加关注动作引起的观测变化，避免了冗余视觉干扰。并且基于当前观测，避免了自回归方式产生的误差累积问题，提高动作预测的精度。

本申请提供了一种轨迹信息处理方法以及电子设备，属于数据处理技术领域，该方法包括：获取轨迹；确定待操作对象的几何结构信息；根据几何结构信息，确定待操作对象的关节中心以及关节方向；根据待操作对象的关节中心、关节方向以及可动高斯点集合，对轨迹进行划分，得到多个阶段的子轨迹。本申请使划分轨迹的判定严格服从对象自身的运动约束边界，摆脱对易受噪声干扰的动态信号的依赖，使轨迹划分处理具备先天鲁棒性，不仅彻底规避了静摩擦破滞、机械限位归零等导致的误识别问题，保障了动作语义的连续性与完整性，更使得各子轨迹段可作为独立单元用于后续，显著提升了机器人技能复用的可靠性、跨工件适配的免调性以及工程可维护性。

本申请提供了一种数据处理模型的训练方法、机器人控制方法及机器人，涉及机器人技术领域，其中，该方法包括：获取机器人的自然语言指令、多视角二维图像以及本体感知状态；采用初始数据处理模型中的初始视觉语言模型，根据自然语言指令、多视角二维图像、本体感知状态、随机掩码以及预设融合令牌，生成特征识别结果；根据特征识别结果，获取一种或多种损失信息；根据一种或多种损失信息，对初始数据处理模型进行调参，得到目标数据处理模型，其中，目标数据处理模型包括：目标视觉语言模型。本申请降低了机器人的制造成本以及计算成本，提升机器人在复杂真实场景中执行开放性自然语言指令的准确性与泛化性。