CNIPA.AI
검색으로 돌아가기
기록

一种从单视角视频重建人体神经辐射场的方法

발명유효
6조회수
6청구항 · 1 독립항
§ Ⅰ

개요

발명자

石敏; 汪靖涵; 朱登明; 王素琴; 李兆歆

IPC 분류

G06T 17/20 (2006.01)G06N 3/045 (2023.01)G06T 15/55 (2011.01)G06T 15/04 (2011.01)

本发明人针对上述问题,发明了一种从单视角视频重建人体神经辐射场的方法,该方法包括如下步骤:步骤1:输入单视角视频数据集,并根据数据集内部的二维关节关键点对视频对应的SMPL网格模型进行优化;步骤2:使用重心插值算法将采样点从观察空间转换到规范空间;步骤3:使用基于Transformer的纠错网络来纠正采样点由于SMPL网格模型的错位或覆盖不到衣服褶皱和头发而产生的空间变换的错误;步骤4:计算转换后的采样点的正确位置信息和视角方向,并使用神经辐射场得到该点的体密度和颜色值;步骤5:使用体渲染公式处理每个采样点在神经辐射场中的体密度和颜色值,得到最终的人体重建结果,并使用该结果和对应的损失函数对神经辐射场进行训练,得到最终的规范空间中“大”姿态的人体神经辐射场,该辐射场可用于人体新视角合成以及新姿态合成。