一种三维视觉目标检测与识别方法与装置

1. 痛点问题

我们生活在一个真实的三维世界中，二维环境感知是远无法满足我们的实际需求。在诸如自动驾驶、机器人抓取和三维目标识别等应用中（如图1），我们经常需要推理三维空间中物体之间的位置关系，从而能够理解真实三维场景并做出进一步的决策行为。

图1 自动驾驶、视觉抓取、物体识别

2. 解决方案

本技术成果提出了一种三维视觉目标检测与识别方法。在三维视觉目标检测方面，提出了一种基于关系推理网络的单目三维物体检测方法，方法流程图如图2所示。方法提出了一种新的单目三维物体检测架构，训练了一个深度关系推理网络来估计三维候选和真实物体之间的空间位置关系，通过测量投影结果和真实物体之间的视觉拟合度来实现高精的三维空间定位。

图2 三维目标检测的流程图

在三维视觉目标识别方法，提出了一种基于球面分形卷积神经网络的三维点云识别技术，方法流程图如图3所示。方法通过引入球面分形结构，将原始三维点云通过可学习的神经网络投影到球面，使得卷积神经网络可以高效处理三维点云数据并进行特征特征，同时通过设计基于分形结构的层次化学习框架，提高了三维点云物体识别的精度，实现了对于三维点云目标在旋转条件下特征表示的鲁棒性。

合作需求

寻求在人工智能、智能机器人、智慧城市等领域有相关技术开发、市场推广经验，能推进本技术落地的高科技企业，可以进行深度合作。本技术成果有望在自动驾驶、虚拟现实等场景进行落地应用。

本技术成果有着广泛的应用前景，如自动驾驶、机器人视觉抓取、水下环境感知、工业检测、智能安防等，适同于不同的应用需求。

2021年11月25日，《北京市智能网联汽车政策先行区自动驾驶出行服务商业化试点管理实施细则（试行）》出台，这标志着国内自动驾驶领域从测试示范迈入商业化试点探索新阶段，对全面贯彻新发展理念，加快构建新发展格局，变革未来出行方式具有里程碑意义。

根据科尔尼数据预测，至2025年全球自动驾驶（包含车端、道路、云等）市场规模达800亿美元，至2030年市场规模达2800亿美元。预计自动驾驶领域在未来10年内可实现大幅增长。

在自动驾驶应用中，相比于使用昂贵的激光雷达等传感器，相机传感器成本低廉，且寿命长、易于安装，同时图像的检测技术相对更加成熟，有利于研究工作的快速进行。难点在于单目三维物体检测的问题设置下，唯一的线索只有二维图像中的外观信息，而真实的三维信息却无法获取。本方法使用一种基于锚点的方法来回归出物体的尺寸和朝向信息，并构建出三维候选，然后根据相机投影关系将候选投影到图片上，并利用一个拟合程度网络来推理这些三维候选和物体之间的三维覆盖率，显著提高了三维检测算法的定位精度。