斯纳普公司

本公开涉及根据现有图像和视频生成沉浸式增强现实体验。公开了一种方法，其包括：从二维图像中识别二维元素；基于从二维图像中识别到的二维元素生成体积内容项，体积内容项表示二维元素；识别真实世界环境中的真实世界元素；将体积内容项与真实世界环境中的真实世界元素相关联；以及使得通过显示设备在基于将体积内容项与真实世界环境中的真实世界元素相关联的位置处将体积内容项呈现为叠加在真实世界环境上，真实世界环境在显示设备的用户的视野内。

涉及用于大规模增强现实的位置映射。一种增强现实，执行以下操作，包括：访问包括图像数据、位置数据和取向数据的数据对象；对数据对象应用变换以产生经校正的数据对象；基于经校正的数据对象生成点云；至少基于数据对象的位置数据将点云分配给位置；检测处于该位置的客户端设备；以及响应于检测到处于该位置的客户端设备，将点云加载至客户端设备。

基于上下文的增强现实系统可用于在客户端设备上的实况视频馈送上显示增强现实元素。可以基于客户端设备生成的多个上下文输入来选择增强现实元素。上下文输入可以包括客户端设备的位置数据和具有预先配置的增强元素的附近物理地点的位置数据。预先配置的增强元素可以被预先配置为展示相应物理地点的设计方案。

本文描述的示例涉及用于扩展现实（XR）的基于手部的光估计。XR设备的图像传感器用于获得手部在真实世界环境中的图像。处理图像的至少一部分以检测手部的姿态。基于检测到的姿态来选择多个机器学习模型中的一个。经由机器学习模型处理图像的至少一部分以获得与手部相关联的所估计的照明参数值。使用所估计的照明参数值来渲染要由XR设备呈现的虚拟内容。