|
搜索
搜 索
高等教育领域数字化综合服务平台
一种三维视觉目标检测与识别方法与装置
1. 痛点问题
我们生活在一个真实的三维世界中，二维环境感知是远无法满足我们的实际需求。在诸如自动驾驶、机器人抓取和三维目标识别等应用中（如图1），我们经常需要推理三维空间中物体之间的位置关系，从而能够理解真实三维场景并做出进一步的决策行为。
图1 自动驾驶、视觉抓取、物体识别
2. 解决方案
本技术成果提出了一种三维视觉目标检测与识别方法。在三维视觉目标检测方面，提出了一种基于关系推理网络的单目三维物体检测方法，方法流程图如图2所示。方法提出了一种新的单目三维物体检测架构，训练了一个深度关系推理网络来估计三维候选和真实物体之间的空间位置关系，通过测量投影结果和真实物体之间的视觉拟合度来实现高精的三维空间定位。
图2 三维目标检测的流程图
在三维视觉目标识别方法，提出了一种基于球面分形卷积神经网络的三维点云识别技术，方法流程图如图3所示。方法通过引入球面分形结构，将原始三维点云通过可学习的神经网络投影到球面，使得卷积神经网络可以高效处理三维点云数据并进行特征特征，同时通过设计基于分形结构的层次化学习框架，提高了三维点云物体识别的精度，实现了对于三维点云目标在旋转条件下特征表示的鲁棒性。
合作需求
寻求在人工智能、智能机器人、智慧城市等领域有相关技术开发、市场推广经验，能推进本技术落地的高科技企业，可以进行深度合作。本技术成果有望在自动驾驶、虚拟现实等场景进行落地应用。
清华大学
2021-12-16
基于虚实交互场景下的机器狗视觉控制系统研究
一、项目进展
创意计划阶段
二、负责人及成员
姓名
学院/所学专业
入学/毕业时间
学号
史雨杰
电信院/自动化
2019.9/2023.7
201931072537
李耀辉
电信院/机器人工程
2019.9/2023.7
201931072628
刘忠跃
电信院/自动化
2018.9/2022.7
201831073203
王怡欣
电信院/自动化
2018.9/2022.7
201831073423
孟泽涛
电信院/自动化
2018.9/2022.7
201831073302
三、指导教师
姓名
学院/所学专业
职务/职称
研究方向
李杰
电气信息学院
讲师
人工智能
四、项目简介
本项目基于虚实交互技术、仿生机器狗运动控制、机器视觉、机器算法等方面展开研究。其目的在于增强虚实场景下机器狗与现实环境的交互能力，使其更快速地适应复杂地形，并借助机器视觉丰富其应用性。机器狗采用Jetson-Nano为主控板，其上运行ROS系统，采用分布式运行rosserial_arduino、rosbridge实现机器狗运动控制和虚拟场景通信的环节；利用SLAM技术精确构建地形图样，模拟人的真实视觉功能并通过图像摄取装置赋予机器狗，使机器狗能够对图像信号进行获取和识别，并通过数字化处理以实现其在多目标环境下的个体追踪功能以及对人体的姿态识别功能。
西南石油大学
2023-07-17
一种多摄像头自适应的立体视觉测距装置
本实用新型涉及双目立体视觉测距技术，具体涉及一种多摄像头自适应的立体视觉测距装置，包括 主板，固定在主板上的左一摄像头、左二摄像头、右一摄像头、右二摄像头、右三摄像头、左数据传输 接口，及右数据传输接口，还包括外部控制板；左一摄像头、左二摄像头通过主板与左数据传输接口连 接；右一摄像头、右二摄像头、右三摄像头通过主板与右数据传输接口连接；左数据传输接口、右数据 传输接口分别与外部控制板连接。该测距装置结构简单、操作方便、成本低，具有多个摄像头，允许根 据待测物的实际位置和实际距离选择使用摄像头对，具有自适应性，可移植性强，能够实现双目立体视 觉测距所需图像数据的实时采集和传输。
武汉大学
2021-04-13
基于对象随机游走的遥感图像视觉显著性检测方法及系统
一种基于对象随机游走的遥感图像视觉显著性检测方法及系统，包括进行多尺度分割，并在每个尺 度下分别对颜色特征相似的邻接区域进行合并;对于每个尺度下的分割结果，分别提取每个分割区域的 视觉特征，构建当前尺度下的对象集合;对于每个尺度下的对象集合，通过对象间的特征差异计算对应 的边缘权重，并计算注意焦点在对象间的转移概率，获得注意焦点的转移概率矩阵，分别根据注意焦点 的转移概率矩阵计算注意焦点在所有对象间的平稳分布，由该平稳分布中每个对象对应的概率进一步计 算视觉显著性并归一化，获得当前尺度下的归一化视觉显著图;融合各个尺度下的视觉显著图，即可获 得该遥感图像最终的视觉显著图。
武汉大学
2021-04-13
基于视觉特征的视频指纹检测及视频序列匹配方法及系统
本发明提出一种基于视觉特征的视频指纹检测方法，具体为：按照帧间相关性对视频序列分段，在分段中提取关键帧；在各关键帧中提取视频特征；利用像素点特征字典对像素点分类；对各关键帧分别进行多次不同数量的分块，在各子块中依据像素点的分类结果统计像素点特征字典各元素的出现次数，得到该子块的特征向量；将所有子块的特征向量拼接得到关键帧的高维视频指纹；对各高维视频指纹进行降维；将各视频片段关键帧的低维视频指纹按照时间先后顺序连成关键帧视频指纹串。本发明还提供了基于上述指纹检测方法的视频匹配方法。本发明通过对视频内容的关键信息进行有效描述，在不影响匹配率的情况下，大大降低了算法的复杂度，有效提高了检测效率。
华中科技大学
2021-04-11
一种雷达视觉融合扭矩测控系统曲线质量自动判断方法
本发明公开了一种雷达视觉融合扭矩测控系统曲线质量自动判断方法，包括如下步骤：步骤S1：进行拐点识别；步骤S2：进行疑问图形判断；步骤S3：进行特殊扣型与普通扣型判断；步骤S4：矩阵公式应用。本发明的方法显著提高了石油器械作业效率，减少了人工操作时间，降低了人为因素对判断结果的干扰，确保了判断结果的一致性和可重复性。同时，通过实时、准确地识别和分类扭矩曲线，本发明能够及时发现不合格图形并报警，避免不合格连接进入后续作业环节，从而有效保障套管连接质量，为石油开采和钻井作业提供更加可靠的技术支持。
南京工程学院
2021-01-12
基于多模态融合模型的平板显示视觉舒适度预测方法、系统
本发明涉及显示技术与人机交互交叉领域，提供基于多模态融合模型的平板显示视觉舒适度预测方法、系统，其中方法包括：步骤一、采集原始图像集，针对每一原始图像，运用生成对抗网络模型将输入的随机序列转换为增强素材，再将增强素材和原始图像按预设比例融合，获得若干新图像；步骤二、采集生理特征和物理特征，获得训练样本；步骤三、基于堆叠集成框架训练多模态融合模型；步骤四、输入测试数据，获得视觉舒适度预测结果。本发明旨在解决平板显示视觉舒适度预测领域高质量标注样本稀缺、单一模态分析耦合关系缺失、场景适配性差的问题。
南京工业大学
2021-01-12
一种基于机器视觉的铁路散货卸料斗识别与定位方法
本发明提供了一种基于机器视觉的铁路散货卸料斗识别与定位方法，涉及铁路散货卸料斗跟踪与定位技术领域。该方法包括：采集目标卸料斗的深度图样本；对深度图样本执行预处理，生成样本数据集；从样本数据集中提取卸料斗的几何特征；将卸料斗的几何特征作为输入，利用CNN进行卸料斗的目标识别与定位训练，得到卸料斗识别模型；将相机捕获到的实时深度图送入卸料斗识别模型进行卸料斗的实时识别与定位，卸料斗识别模型输出卸料斗的三维空间信息和存在概率，将结果传送至控制系统，引导机械臂执行卸料操作。本发明适用于卸料作业中的实时监测，实时精确定位铲斗的当前位置，及时避免铲斗与货舱之间的冲击性损伤，提高卸料的效率与安全性。
南京工业大学
2021-01-12
智能疫情防控机器人
上海交通大学电子信息与电气工程学院俞凯教授联合苏州思必驰信息科技有限公司开发了“疫情防控机器人”。依托语音识别、合成、理解和对话管理等人工智能（AI）技术，结合新研发的疫情排查对话逻辑和话术，机器人根据设定向社区居民主动宣教疫情防控知识，遇不适居民还会提醒就医。 2020年1月27日起，“疫情防控机器人”供社区和有关部门免费使用，已为江苏、山东、重庆、湖北、北京、浙江、四川、湖南、上海等多地提供服务，对话机器人自动接通10余万户，访问结果直接生成数据报表供社区。
上海交通大学
2021-04-10
隔离病房巡视机器人
身为航天工程方面的教授，郑钢铁和他的团队更善于系统设计和应急处理问题。作为临床医学院的教授，董家鸿对如何对抗疫情和保护医生有丰富的经验，这为机器人的研制提供了充分的现实基础。“或许可以用机器人为医护人员隔离风险，让医护人员的常规检查环节更加安全。”经过讨论，几位老师决定用科学在医护人员与冠状病毒之间筑出一道“高墙”。于是，隔离病房巡诊机器人的应急课题应运而生。根据设想和前线医生的实地反馈，巡诊机器人具备的主要功能包括测量体温、听诊、超声和咽拭子采样。从而，一位医生可以远程控制多台巡诊机器人，达到节约人力、降低感染风险的目的。想法一经确定，团队便立即展开项目工作，讨论方案、确定方案、组建团队，迅速投入研制工作中。巡诊机器人早一天投入使用，就可能保护更多的医生与患者，时间不等人！但是，在机器人开发现场的工程团队成员并不多，航院博士生陈煜、航院硕士生李奇钟、电机系本科生刘寒玉三名同学在现场研究，航院博士生祝世杰在家远程工作，主要负责写控制程序，提供远程支持。除此之外，清华校友帮助解决测温仪改装成遥控的问题，计算机系师生帮助解决机械手操作软件兼容的问题。
清华大学
2021-04-10