一种三维视觉目标检测与识别方法与装置
1. 痛点问题
我们生活在一个真实的三维世界中,二维环境感知是远无法满足我们的实际需求。在诸如自动驾驶、机器人抓取和三维目标识别等应用中(如图1),我们经常需要推理三维空间中物体之间的位置关系,从而能够理解真实三维场景并做出进一步的决策行为。
图1 自动驾驶、视觉抓取、物体识别
2. 解决方案
本技术成果提出了一种三维视觉目标检测与识别方法。在三维视觉目标检测方面,提出了一种基于关系推理网络的单目三维物体检测方法,方法流程图如图2所示。方法提出了一种新的单目三维物体检测架构,训练了一个深度关系推理网络来估计三维候选和真实物体之间的空间位置关系,通过测量投影结果和真实物体之间的视觉拟合度来实现高精的三维空间定位。
图2 三维目标检测的流程图
在三维视觉目标识别方法,提出了一种基于球面分形卷积神经网络的三维点云识别技术,方法流程图如图3所示。方法通过引入球面分形结构,将原始三维点云通过可学习的神经网络投影到球面,使得卷积神经网络可以高效处理三维点云数据并进行特征特征,同时通过设计基于分形结构的层次化学习框架,提高了三维点云物体识别的精度,实现了对于三维点云目标在旋转条件下特征表示的鲁棒性。
合作需求
寻求在人工智能、智能机器人、智慧城市等领域有相关技术开发、市场推广经验,能推进本技术落地的高科技企业,可以进行深度合作。本技术成果有望在自动驾驶、虚拟现实等场景进行落地应用。
清华大学
2021-12-16