局部感知的零样本文本到三维点云生成方法

本发明公开了一种局部感知的零样本文本到三维点云生成方法，包括：构建图结构，并将几何信息进行编码，引入带有拓扑约束的自注意力机制，构建改进的Graph Transformer点云特征编码网络与点云解码网络，实现细粒度点云重建并提取结构稳定的几何局部特征图；利用CLIP视觉编码器从点云渲染图像中提取全局视觉特征与空间视觉特征图，经空间感知融合模块生成视觉引导特征，通过条件流匹配实现对几何局部特征图的视觉引导生成；检索与文本特征最相关的K个图像并融合其视觉特征，将该视觉特征作为引导条件输入整流生成模型，输出与文本语义高度一致的三维点云。本发明不依赖文本与三维点云的配对训练数据，可在零样本场景中实现高质量三维点云生成。