一种高精度稠密室内场景重建技术

1. 痛点问题

场景三维重建是未来视觉成像技术发展的重要趋势，支撑导航与人机交互、虚拟现实与增强现实（VR/AR）、在线文旅、工程设计等前沿领域应用革命性发展。

目前技术仅仅是根据局限于面元自身区域内不同时刻的信息融合得到该面元的最终重建结果，忽略了面元之间的关系，导致重建面元的自由度过大，同时由于遮挡、光照变化、纹理不足、运动等因素的影响，降低了深度图像的稠密度，同时存在相关尺度模糊问题。重建面元受到输入深度图像噪声以及定位系统对相机定位误差的影响，出现重建面元的位置及朝向可能与真实值存在明显偏差，且相邻面元之间可能存在不一致的情况，导致最终重建的三维模型的稠密度、鲁棒性、一致性和准确性较低。

2. 解决方案

本项目成果提出了一套高精度稠密室内场景重建技术，首先提出基于物理空间推理和语义关联建模的场景多粒度（像素/体素-超像素/体素-对象-场景）感知方法，综合语义信息、几何结构信息以及时空间信息进行滤波，实现准确深度估计，联合光流估计与相机位姿估计进行多任务自监督训练，实现深度估计网络权重的在线调整，提高深度估计在未知场景下的性能，进一步引入在室内场景中常见的三种局部和全局尺度空间平面关系约束，为每一个重建面元提取三种支撑面元集，以支撑面元为载体将面元之间的空间关系作为额外约束引入密集面元生成阶段，抑制深度图噪声和定位误差的负面影响，提出基于语义先验的实时概率稠密重建方法，通过时序传播与概率模型更新实现实时场景深度重建，提高最终三维重建模型的稠密度、鲁棒性、一致性和准确度，新引入的部分计算量小，能保持现有方案的实时性和可扩展性，能够快速对大场景进行实景稠密三维重建，为用户提供低成本、高效率、极便捷的空间3D重建解决方案。

合作需求

寻求在VR/AR、机器人、智慧城市等领域有相关技术开发、市场推广经验，能推广本技术落地的高科技企业，可以进行深度合作。