一种目标的数字化模型生成与驱动技术

1.痛点问题

本项预期成果是解决复杂场景中目标三维数据重建、驱动的关键技术。

针对实际应用中复杂运动场景，例如刚性运动的交通工具，变形移动行人等，传统的运动结构恢复方法在进行场景深度求解时无法确定每个单元结构的相对尺度，导致无法对复杂运动场景进行重建。在现有的深度估计、语义分割、位姿估计等相关技术，存在识别精度低、提取不到关键信息、应用场景单一等问题，无法满足大尺度场景应用的需求。

2.解决方案

本项目成果提出了一套面向目标、人体深度数据重建技术，有效实现对复杂运动场景下人、物的深度重建与驱动，有效解决现实场景目标的数字化模型生成与虚拟场景下的驱动映射问题。提出多模态采集、时空复用编码摄像方法，获取大景深、高时空分辨、丰富的精确场景视觉信息，基于超像素关系分析的深度重建方法，包括目标超像素分割，图像帧匹配，运动关系判定，通过时序传播与概率模型更新实现实时深度重建，提高最终三维重建模型的稠密度、鲁棒性、一致性和准确度。构建了基于深度卷积神经网络的目标实例检测与位姿估计框架，从目标对象观测图片提取其分割掩码并不断迭代更新，输入深度卷积神经网络进而得到目标6D位姿估计并进行迭代改进，从而实现目标在动态复杂场景下的位姿还原，克服了在光照、姿态变化、遮挡等不良因素环境下的目标位姿不准确问题，确保了目标6D位姿估计的鲁棒性与准确性。