用于具身推理的方法和装置

公开了一种用于三维(3D)环境中的具身推理任务的方法。该方法包括：接收3D环境的视觉输入；通过对象检测模型检测视觉输入中的多个实体，多个实体中的每个实体对应于视觉输入中的感兴趣区域；通过图像编码器提取与多个实体相对应的多个向量表示；以及通过基于迭代消息传递算法的细化函数来细化多个向量表示，其中迭代消息传递算法是利用掩蔽的场景图模型来优化的。