利用稀疏视角下RGB图像输入重建三维物体表面的方法和装置

一、项目介绍

1. 痛点问题

现有技术利用稠密视角图像输入可以得到较好的物体三维表面，但是在稀疏视角图像输入下，重建精度将会大幅下降。专门针对稀疏视角的三维表面重建方法不够灵活，没有充分发挥视角选取的潜力，仅从预定义视角获取的图像无法很好重建不同物体的几何细节。

目前，还有一些机器人领域的方法不能很好地适用在基于有向距离场（SDF）的三维网格表面重建。

2. 解决方案

为解决已有技术中存在的不足，本技术提供了一种新的利用扭曲一致性进行动态视角选取的方法，可以仅用稀疏视角RGB图像进行高质量的三维物体表面重建。

本技术核心创新点如下：

（1）提出了一个新颖的利用稀疏视角RGB图像重建三维物体表面的框架，包括一个重建模块和一个视角选取模块，这两个模块协同工作，可以在优化三维表面的过程中动态、自适应地补充对重建更有帮助的视角下的图像；

（2）提出了一种有效的、基于图像扭曲一致性的视角选取策略；

（3）提出了一种渐进式训练策略，和一个方向海森损失函数（directional Hessian loss），以帮助稀疏图像下的高质量三维重建。

图1 本技术输入数据与输出结果示意图

图2 本技术整体流程示意图

（包括重建模块与视角选取模块）

3. 竞争优势分析

现有的NeuS技术和Neuralangelo技术利用稠密视角图像输入可以得到较好的物体三维表面，但是在稀疏视角图像输入下，重建精度将会大幅下降。专门针对稀疏视角的三维表面重建方法（MonoSDF技术和VolRecon技术），他们的输入图像是从几个预定义好的视角获取的，这些视角在表面重建过程中保持固定。这种方式不够灵活，没有充分发挥视角选取的潜力，仅从预定义视角获取的图像无法很好重建不同物体的几何细节。

目前，还有一些机器人领域的方法，尝试在优化神经隐函数的过程中动态地选取输入视角图像，这种方式更加灵活且更加贴合实际需求。但是，这些方法主要关注于设计于隐函数表示的不确定性估计策略（利用信息熵或是分布方差），并不能很好地适用在基于有向距离场（SDF）的三维网格表面重建。

在稀疏视角图像输入下，与已有的物体三维重建技术相比，本技术重建得到的三维网格表面精度更高。在不同数量的输入视角下，本技术提出的视角选取策略达到的重建精度均优于机器人领域已有视角选取技术，验证了本技术策略可以很好地适用于基于SDF的表面重建。

4. 市场应用前景

本技术成果有着广阔的市场应用前景。在稀疏视角图像输入下，与已有的物体三维重建技术相比，本技术重建得到的三维网格表面精度更高。可以应用于与三维物体重建领域相关研发与应用中，通过相应三维重建系统，完成预期技术成果，促进技术成果的迭代更新，同时提升技术成果的质量，围绕典型应用场景开展技术推广应用。

5. 发展规划

本项目拟先进行技术许可。

6. 知识产权情况

已申请1项发明专利，进入实质审查阶段。

二、合作需求

本项目希望与三维物体重建领域相关研发与应用的企业合作，由合作企业根据本项目技术成果设计相应三维重建系统，投入人力和预算完成技术成果，促进技术成果的迭代更新，同时提升技术成果的质量，围绕典型应用场景开展技术推广应用。

三、团队介绍

项目负责人为清华大学计算机系长聘教授，团队主要研究方向为计算机图形学、认知计算和多模态媒体智能信息处理，近五年在 PAMI/TOG/SIGGRAPH/TIP/TAFFC/TVCG/CVPR/AAAI 等权威期刊会议上发表近百篇，其中SCI论文六十余篇，7篇论文入选ESI高被引及热点论文，获得多项国家及省部级奖励。成果编号：20240262