面向机器人的智能视觉环境感知及三维场景重建 面向机器人视觉的自然场景理解是近年来的研究热点和重要挑战之一，其目标是对自然场景图像及视频的内容作出有效分析、认知与表达，目前相关理论和算法正处于初期探索阶段。我们的研究成果表明，从场景视觉语义推理、场景目标识别和场景行为模式检测三个环节展开研究，有助于构建自然场景理解的创新机制，进一步开发机器人

1. 痛点问题 我们生活在一个真实的三维世界中，二维环境感知是远无法满足我们的实际需求。在诸如自动驾驶、机器人抓取和三维目标识别等应用中（如图1），我们经常需要推理三维空间中物体之间的位置关系，从而能够理解真实三维场景并做出进一步的决策行为。 图1 自动驾驶、视觉抓取、物体识别 2. 解决方案 本技术成果提出了一种三维视觉目标检测与识别方法。在三维视觉目标检测方面，提出了一种基于关系推理网络的单目三维物体检测方法，方法流程图如图2所示。方法提出了一种新的单目三维物体检测架构，训练了一个深度关系推理网络来估计三维候选和真实物体之间的空间位置关系，通过测量投影结果和真实物体之间的视觉拟合度来实现高精的三维空间定位。 图2 三维目标检测的流程图 在三维视觉目标识别方法，提出了一种基于球面分形卷积神经网络的三维点云识别技术，方法流程图如图3所示。方法通过引入球面分形结构，将原始三维点云通过可学习的神经网络投影到球面，使得卷积神经网络可以高效处理三维点云数据并进行特征特征，同时通过设计基于分形结构的层次化学习框架，提高了三维点云物体识别的精度，实现了对于三维点云目标在旋转条件下特征表示的鲁棒性。 合作需求 寻求在人工智能、智能机器人、智慧城市等领域有相关技术开发、市场推广经验，能推进本技术落地的高科技企业，可以进行深度合作。本技术成果有望在自动驾驶、虚拟现实等场景进行落地应用。

一、项目进展 创意计划阶段 二、负责人及成员 姓名 学院/所学专业 入学/毕业时间 学号 史雨杰 电信院/自动化 2019.9/2023.7 201931072537 李耀辉 电信院/机器人工程 2019.9/2023.7 201931072628 刘忠跃 电信院/自动化 2018.9/2022.7 201831073203 王怡欣 电信院/自动化 2018.9/2022.7 201831073423 孟泽涛 电信院/自动化 2018.9/2022.7 201831073302 三、指导教师 姓名 学院/所学专业 职务/职称 研究方向 李杰 电气信息学院 讲师 人工智能 四、项目简介 本项目基于虚实交互技术、仿生机器狗运动控制、机器视觉、机器算法等方面展开研究。其目的在于增强虚实场景下机器狗与现实环境的交互能力，使其更快速地适应复杂地形，并借助机器视觉丰富其应用性。机器狗采用Jetson-Nano为主控板，其上运行ROS系统，采用分布式运行rosserial_arduino、rosbridge实现机器狗运动控制和虚拟场景通信的环节；利用SLAM技术精确构建地形图样，模拟人的真实视觉功能并通过图像摄取装置赋予机器狗，使机器狗能够对图像信号进行获取和识别，并通过数字化处理以实现其在多目标环境下的个体追踪功能以及对人体的姿态识别功能。

本实用新型涉及双目立体视觉测距技术，具体涉及一种多摄像头自适应的立体视觉测距装置，包括 主板，固定在主板上的左一摄像头、左二摄像头、右一摄像头、右二摄像头、右三摄像头、左数据传输 接口，及右数据传输接口，还包括外部控制板；左一摄像头、左二摄像头通过主板与左数据传输接口连 接；右一摄像头、右二摄像头、右三摄像头通过主板与右数据传输接口连接；左数据传输接口、右数据 传输接口分别与外部控制板连接。该测距装置结构简单、操作方便、成本低，具有多个摄像头，允许根 据待测物的实际位置和实际距离选择使用摄像头对，具有自适应性，可移植性强，能够实现双目立体视 觉测距所需图像数据的实时采集和传输。 

一种基于对象随机游走的遥感图像视觉显著性检测方法及系统，包括进行多尺度分割，并在每个尺 度下分别对颜色特征相似的邻接区域进行合并;对于每个尺度下的分割结果，分别提取每个分割区域的 视觉特征，构建当前尺度下的对象集合;对于每个尺度下的对象集合，通过对象间的特征差异计算对应 的边缘权重，并计算注意焦点在对象间的转移概率，获得注意焦点的转移概率矩阵，分别根据注意焦点 的转移概率矩阵计算注意焦点在所有对象间的平稳分布，由该平稳分布中每个对象对应的概率进一步计 算视觉显著性并归一化，获得当前尺度下的归一化视觉显著图;融合各个尺度下的视觉显著图，即可获 得该遥感图像最终的视觉显著图。

联系我们：深圳市大象机器人科技有限公司 官网：https://www.elephantrobotics.com淘宝官方旗舰店：https://shop504055678.taobao.com/?spm=a1z10.1-c-s.0.0.2b0e58e7PY8UhV电话：+86 (0755) 8696 8565/+86 181 2384 1923地址：深圳市福田区华强北电子科技大厦D座智方舟国际智能硬件创新中心D403 D504 D505

一、设备概述         LG-IRBL02型 并联机器人视觉分拣工作站由机器人工作台、输送带、ABB四自由度并联机器人、末端执行器、视觉系统和辅助模块组成。该装置的主要任务是，机器人通过视觉定位抓取散乱工件进行高速高精度分拣放置整齐工作。该功能可用于来料分拣抓取装盒等工作。 二、技术参数 1、输入电源：单相AC200V～230V(＋10%－15%),50Hz； 2、工作环境：温度0℃～45℃，相对湿度20％～90％RH（40℃）； 3、工作站尺寸：2010mm×900mm×1850mm； 4、操作台：700mm×500mm×1350mm 5、四自由度并联机器人采用ABB IRB360-1/800并联机器人，有效负载1KG，拾料范围800mm。 三、设备组成及功能描述 1、输送带     采用两条输送带，主要完成物料输送，配合机器人对物料进行高速分拣。 2、四自由度并联工业机器人     本工作站采用的四自由度ABB IRB360-1/800并联机器人，有效负载1KG，拾料范围800mm。 3、机器人末端执行器     本工作站的机器人末端执行器即为吸盘。末端执行器安装于机器人末端安装法兰面上，用于随机器人对物料进行高速高精度的分拣。 4、视觉系统     本工作站采用欧姆龙FZ-350智能视觉系统，由视觉控制器、白色光源、视觉相机及监视显示器等组成。用于检测工件的特性，如数字、颜色、形状等，还可以对装配效果进行实时检测操作。通过视觉系统对物料的位姿进行检测，将信号传送给控制系统，控制系统通过计算分析后指令机器人对物料进行分拣。 5、机器人工作台     本工作站中并联机器人、输送带、视觉系统等其他辅助模块均集成于工作台上，布局合理、美观，使用方便。 6、辅助模块     本工作站为了保证物料机器人循环分拣物料，故在输送带另一端配装物料导向装置。 四、设备特点 1、直观性较强：主要设备均采用直接外露的安装形式，结构简单，便于学生拆装。 2、系统性强，贴近实际生产：该实训平台将目前两台典型的高速机器人（3+1轴）和机器人视觉系统有机结合，同时集成传感器、气动元器件等知识，使学生对机电一体化设备有了更直观的认识。该平台模拟了机器人实际应用，缩短学生从教室到工业现场的过度和适应时间。 3、开放性和扩展性强：该平台还可根据自己的教学需要快捷地更换主要设备，通过现场总线实现多种设备的挂接。 4、安全性高：该实训平台配备相应的漏电、过载及短路保护，能够确保操作者的人身安全。 五、实训项目 1、并联机器人的机构组成、工作原理、性能指标认识； 2、并联机器人机械系统的组成； 3、并联机器人正逆运动学分析； 4、并联机器人控制系统的学习； 5、PLC的学习与应用； 6、CoDeSys软件的了解与应用； 7、现场总线的应用； 8、机器人示教编程与再现控制原理与方法； 9、机器人PTP运动轨迹控制方法； 10、机器人视觉系统的认识及操作； 11、机器人的视觉分拣实验； 12、系统故障诊断与维护。

本发明提供了一种基于仿射摄动的区间不确定性结构能量响应预示方法，建立各子系统的确定性结构的统计能量控制方程，进而引入区间因素，获取区间不确定性结构的区间统计能量控制方程，设定不确定性参数的区间参数，基于仿射摄动算法得到各区间变量的仿射区间表达式，设定各变量的摄动分析表达式，进而基于区间仿射算法的运算法则，推导得到考虑区间不确定性结构的子系统区间能量表达式，给定初始边界参数和求解频率后，计算得到区间不确定性结构的区间能量响应。通过本发明方法使得区间不确定性结构区间能量响应的区间宽度大大缩小、区间能量响应的预示精度大大提高，从而可以更加精确地评估区间不确定性结构的高频动力学特性，具有重要的工程应用价值。

本发明涉及一种基于免疫遗传算法的模块化多电平变换器的调制方法，对模块化多电平变换器的优化控 制方面的问题进行研究，优化目标为模块化多电平变换器的输出电流波形最优，本发明结合模块化多电平变 换器的结构特点和输出特性，采用各相上桥臂投入子模块的数目表示工作状态，对模块化多电平的工作状态 进行优化，通过编码操作，注入疫苗，亲和度计算，浓度计算，免疫选择，交叉操作，变异操作，倒位操作， 经过多次迭代收敛后得到优化后的模块化多电平变换器的输出电压阶梯波。

受国家自然科学基金资助，自1990年开展该研究工作，已形成专利产品——红外热成像装置。济南钢铁集团总公司和北京科技大学于1999年6月签定了本项目的技术开发合同书，共同开发这一具有明显技术经济效益的新型烧结工况信息获取与智能化处理系统。该项目已于2000年12月通过验收。 系统所涉及的主要技术包括：红外热成像、红外测温、图象抓取与处理、图象分割、特征变量的提取和选择，适应于烧结矿红外图像的滤波方法、以及烧结矿FeO含量和转鼓指数在线推断的数学建模，其中红外热成像技术及测温技术为国家专利技术。 系统采用近红外成像技术，可以采集高温工业窑炉的工况图像，通过计算机图像采集转换成数字图像，在获得模拟和数字图像的同时，可通过视频缆和网络进行图像的传输，并可根据应用厂家的需求，任意或同时测取点、线、面的温度。在此基础上可根据厂家的要求，进行烧结矿的在线质量推断。 该系统由两部分组成： 红外热成像装置：提供清晰的工况图像。红外热成像计算机视觉检测及信息处理系统：红外热成像装置与计算机连接后，通过图像采集获得生产工况的数字图像，经处理构成红外热成像计算机视觉检测和信息处理系统