一、项目简介 随着科技进步和社会需求的发展，机器人手/臂除了工业生产，也越来越多用于服务人类的其它各个领域，这必然会使机器人承担比工业中更加多样的操作任务，面临更加多变的工作环境。因此，国内外对非结构自然环境下、具备自主操作能力的机器人的研究十分重视。当前，具备视觉感知能力的机器人已被公认为机器人发展的主流趋势，将视觉与机器人操作相融合，是对人类行为的模拟，由此产生的视觉伺服控制方法为机器人自主操作能力的实现带来了新的思路，代表了机器人的先进控制技术，也是促进机器人智能化发展的一个重要驱动。可以预见，未来的视觉系统将会成为机器人名副其实的眼睛，视觉伺服技术在机器人自主操作中将具有不可替代的作用。 视觉伺服利用视觉传感器提供的环境信息对机器人运动进行实时反馈控制，涉及机器人机械几何设计、运动学和动力学、自动控制理论、计算机视觉图像处理和摄像机标定等,是智能机器人领域中具有重要理论意义的研究课题之一。迄今为止，机器人手/臂的视觉伺服方法在太空遥操作、机器人手术、水果采摘、工业装配、焊接、抓取以及微操作等方面得到越来越多的应用。然而，现阶段可实际应用的方案主要面向特定的标定环境、模型参数已知，机器人操作是编码定式的，不具备模型未知条件下的自主操作能力，特别是当面向未来的刚-柔-软体共融机器人时，其柔型结构造成的运动模型及参数的变化与不确定性，必然使现有确定模型的研究方法失效。因此，无模型（目标几何模型，手眼标定模型，机器人运动模型）、非结构环境下的自适应操作对机器人提出了新挑战，是机器人手臂(尤其柔型手臂)视觉伺服控制研究的难点与前沿问题，不断深入对非结构环境下、无模型的机器人手/臂视觉伺服控制的研究具有重要的理论和现实意义。 在非结构自然环境下使机器人像人一样协调自适应操作是当今机器人研究领域的一项尚未实现但又令人感兴趣的研究工作。从理论上看，非结构自然环境下实现机器人柔性操作，就当前研究依靠单一的控制器设计是困难的。因此，本项目借鉴人的手眼协调操作是自适应学习过程，涉及智能进化和行为优化，将随机动态规划理论，结合约束规则与最优化控制，探索一种变参手眼关系，实现机器人在非结构自然环境下的自适应操作。 二、前期研究基础 研究团队一直致力于机器人视觉反馈控制的研究。在基础理论研究上，针对无标定视觉伺服控制方案与设计，均提出了一些新型方法，有扎实的理论基础和知识积累，并不断跟踪和深入在无模型视觉伺服控制的方面研究和前沿问题。目前，已经着手在无模型视觉伺服的可靠性、稳定性控制方面做了充分的探索工作：针对机器人无标定全局稳定操作问题，研究了一种鲁棒卡尔曼滤波(RKF)合作Elman神经网络(ENN)的全局稳定视觉伺服控制方法；提出了一种基于网络辅助尔曼滤波状态估计的无标定视觉伺服方法，提高伺服系统的鲁棒性。同时，立足机器人发展前沿，建立了多模特征深度学习抓取系统，在无结构环境下实现了机器人智能抓取与定位。 已发表的与项目相关的主要论文有： [1] 仲训杲,徐敏,仲训昱,彭侠夫.基于多模特征深度学习的机器人抓取判别方法.自动化学报,2016,7(42), pp:1022-1029. (EI) [2] Xungao Zhong, Xunyu Zhong and Xiafu Peng. Robots Visual Servo Control with Features Constraint Employing Kalman-Neural-Network Filtering Scheme. Neurocomputing, 2015, 151(3), pp:268-277 (SCI)  [3] Xungao Zhong, Xunyu Zhong and Xiafu Peng. Robust Kalman FilteringCooperated Elman Neural Network Learning forVision-Sensing-Based RoboticManipulation with Global Stability. Sensors, 2013, 10(13), pp:13464-13486. (SCI) [4] Xungao Zhong, Xiafu Peng, Xunyu Zhongand Lixiong Lin. Dynamic Jacobian Identification Based on State-Space for Robot Manipulation. Applied Mechanics andMaterials, vols. 475-476 (2014)pp: 675-679.(EI) [5] Xungao Zhong, Xiafu Peng, Xunyu Zhong and Xueren Dong. Multi-Channel with RBF Neural Network Aggregation Based on Disparity Space for Color Image Stereo Matching. IEEE 5th International Conference on Advanced Computational Intelligence (ICACI), 10(2012) PP:620-625. (EI) [6]XUNGAO ZHONG, XIAFU PENG, XUNYU ZHONG. NEURAL-BAYESIAN FILTERING BASED ON MONTE CARLO RESAMPLING FOR VISUAL ROBUST TRACKING. Journal of Theoretical and Applied Information Technology, 2013, 2(50), pp: 490-496. [7] Xungao Zhong, Xiafu Peng and Xunyu Zhong. Severe-Dynamic Tracking Problems Based on Lower Particles Resampling. TELKOMNIKA Indonesian Journal of Electrical Engineering. 2014, 12(6), pp:4731-4739. [8] Xunyu Zhong, Xungao Zhong and Xiafu Peng. Velocity-Change-Space-based Dynamic Motion Planning for Mobile Robots Navigation. Neurocomputing. 2014, 143(11), pp:153-163. (SCI) [9] Xunyu Zhong, Xungao Zhong, Xiafu Peng. VCS-based motion planning for distributed mobile robots: collision avoidance and formation. Soft Computing,2016,5(20), pp: 1897-1908. (SCI) [10] 仲训杲,徐敏, 仲训昱, 彭侠夫. 基于雅可比预测的机器人无模型视觉伺服定位控制, 控制与决策, 已在线发表, 2018. [11] 仲训杲,徐敏, 仲训昱, 彭侠夫. 基于图像的机器人非标定视觉反馈控制全局定位方法, 厦门大学学报(自然科学版), 已录用, 2018. 三、应用技术成果 （一）基于多模特征深度学习的机器人抓取判别 研究了多模特征深度学习及其在机器人智能抓取判别中的应用，该方法针对智能机器人抓取判别问题, 研究多模特征深度学习与融合方法. 该方法将测试特征分布偏离训练特征视为一类噪化, 引入带稀疏约束的降噪自动编码 (Denoising auto-encoding, DAE), 实现网络权值学习; 并以叠层融合策略, 获取初始多模特征的深层抽象表达, 两种手段相结合旨在提高深度网络的鲁棒性和抓取判别精确性. 实验采用深度摄像机与 6 自由度工业机器人组建测试平台, 对不同类别目标进行在线对比实验. 结果表明, 设计的多模特征深度学习依据人的抓取习惯, 实现最优抓取判别, 并且机器人成功实施抓取定位, 研究方法对新目标具备良好的抓取判别能力. （二）无标定视觉伺服解决方案及其机器人操作应用 研究了无标定视觉伺服方法及其在机械臂任务操作中的应用。首先提出视觉伺服目标：假设机器人或者摄像节的模型参数未知或者部分未知，视觉伺服的目标是使用摄像节作为传感器，引导机械臂运动，使当前图像特征收敛到期望图像特征，从而完成定位或者跟踪的任务。 手眼协调关系描述。关节图像雅克比矩阵定量描述了机械臂关节变化引起图像特征变化，它是关节-图像映射的局部线性化矩阵。 建立图像雅克比的在线估计器。将关节图像雅克比矩阵的每一个元素作为辅助系统的状态，建立辅助系统的状态方程；摄像机提取到的图像特征作为测量值，建立辅助系统的观测方程。根据Kalman滤波器理论，我们设计了对关节图像雅克比的在线实时估计算法。 构建基于图像矩的目标函数。为了避免传统的基于点特征的缺陷，例如点特征的标记、提取与匹配过程复杂且通用性较差问题。构建基于图像矩的图像特征向量完成视觉伺服任务，来提高视觉伺服系统的稳定性和可靠性。 四、合作企业 厦门万久科技股份有限公司是一家集销售、软件研发、技术服务、加工技术整合为一体的高新技术企业。目前公司的经营范围涉及CNC软件开发及数控系统销售、CNC控制零件销售及专业维修；工艺优化、机台升级与技术改造、工程配电与软件优化、专用机控制系统开发、多轴机的设计与开发、机台精度检测与校正优化服务等。公司是国际知名生产制造企业——富士康的产品供应商和技术服务商。    

本发明公开了面向大规模图像视觉特征的多维倒排索引与快速检索算法，包括：利用图像的视觉特征训练增强型残差量化所需的多层码书，并利用所训练的码书构建多维倒排索引；根据已训练完成的码书，对图像视觉特征进行量化和编码，同时根据计算得到的编码将其插入到倒排索引中对应的倒排列表；利用查询图像视觉特征对所构建的多维倒排索引进行查询，获得查询候选集；利用自适应超球体过滤对查询候选集进行优化，对过滤后的查询结果排序，从而完成图像视觉特征的检索。本发明的方法通过对图像特征进行量化和编码，提高图像特征的量化效率；利用所生

本发明公开了一种基于视觉感知特征的光谱降维方法及系统，包括构造综合人眼视觉色度特性和光 谱特性的权函数 w(λ)，利用构造的权函数 w(λ)计算任意光谱样本集 S 的权函数 Siw(λ)，对样本集的权函 数 Siw(λ)进行均值化处理，得到样本集均值权函数矩阵 Wfv，构造用于均值权函数 Wfv 平滑优化模型及 约束目标函数，利用优化目标函数 ObjFunc 对平滑优化模型进行约束，确定权函数矩阵 Wfv 最佳平滑优 化函数参数 n 值，利用确

浮选技术是目前矿业中矿物分选主要采用的工艺方法。传统的浮选控制过程是通过各种测量仪器，分析测量矿物的品位、浮选回路中的pH值、药物浓度等参数，根据分析得出的数学模型来调整加药量，以使浮选过程处在最优状态下。但实际上，由于浮选过程十分复杂，影响浮选过程的因素非常多，所获得的数学模型并不能和实际很好吻合，因而控制过程一般并不能处在最优状态下。这是浮选控制过程的

本发明公开了一种雷达视觉融合应急形变监测快速部署系统及方法，系统包括：钳臂系统、履带式移动底盘和控制系统；钳臂系统用于自动夹持、旋紧监测设备，并精确调整设备角度和方位；履带式移动底盘具备自主导航能力，适应复杂地形；控制系统用于自动规划路径、识别最佳安装点，并远程操控设备部署过程。方法包括：步骤S1：路径规划与导航；步骤S2：设备运输；步骤S3：自动安装；步骤S4：远程监控与调试；步骤S5：自适应调整；步骤S6：进行结果计算。本发明实现了监测设备的智能运输、精准安装和自动调试，提高了部署效率与安全性。

本发明提出了一种基于四元数理论的立体视觉测量系统，包括：输入层1、输入层2、计算模块和输出层，在输入层1中，获得实时视频流；在输入层2中，使用图像语义分割技术分离背景，评估视场内各个物体的清晰程度，选择其中清晰度最高的物体作为显现目标，输入到计算模块；在计算模块中，采用了五种具体技术对低频微振动进行滤除、提取自身时变姿态和基于四元数理论进行相邻帧之间的平滑处理，能够有效地提升动态视觉测量与检测的输出鲁棒性与准确性，优化视频流；最后，输出层将画面连接在人机交互显示屏，显示优化后的测量数据与重建视频流信息，不仅在视觉质量上得到提升，还能在动态物体跟踪、姿态估计等应用中提供更准确的实时反馈。

本发明具体涉及一种扬沙环境的直升机辅助降落视觉系统。该系统由直升机主旋翼、旋翼桨毂、主旋翼减速器、相机保护罩、云台相机、相机升降杆、升降杆固定螺栓、电机、减速器、深沟球轴承、直升机机身构成。该设计通过将云台相机和升降装置安装在主旋翼桨毂内，当需要对地面及周围环境进行监控时，电机减速器带动丝杆旋转，使得升降杆带动云台相机伸出至旋翼上方一定距离处，此时云台相机将监控到更加广阔全面的环境信息。该系统有利于直升机在含有大量沙尘等离散相颗粒的干燥环境中贴地飞行、悬停或降落时，能有效减少沙尘等颗粒带来的不利影响，提升飞行安全性。

本发明公开了一种自主作业林业机器人平台，包括机器人本体和控制系统，机器人本体采用了四轮的驱动结构，包括车底盘、车顶平台、车架等部分。机器人的控制系统可完成复杂控制和数据处理算法，同时加装了导航定位、激光测量、双目视觉等多种传感器，进行自主林业机器人作业环境信息检测和智能导航。该自主作业林业机器人结构简单，四轮的驱动能力强，可在林区复杂地形条下灵活可靠地运动，具备智能决策和环境建模的能力，可完成林区作业环境信息检测任务；同时可在机器人上加装多种作业机械手，进一步自主完成林木整枝、间伐、采伐和集运等林业生产作业任务。

身为航天工程方面的教授，郑钢铁和他的团队更善于系统设计和应急处理问题。作为临床医学院的教授，董家鸿对如何对抗疫情和保护医生有丰富的经验，这为机器人的研制提供了充分的现实基础。“或许可以用机器人为医护人员隔离风险，让医护人员的常规检查环节更加安全。”经过讨论，几位老师决定用科学在医护人员与冠状病毒之间筑出一道“高墙”。于是，隔离病房巡诊机器人的应急课题应运而生。根据设想和前线医生的实地反馈，巡诊机器人具备的主要功能包括测量体温、听诊、超声和咽拭子采样。从而，一位医生可以远程控制多台巡诊机器人，达到节约人力、降低感染风险的目的。想法一经确定，团队便立即展开项目工作，讨论方案、确定方案、组建团队，迅速投入研制工作中。巡诊机器人早一天投入使用，就可能保护更多的医生与患者，时间不等人！但是，在机器人开发现场的工程团队成员并不多，航院博士生陈煜、航院硕士生李奇钟、电机系本科生刘寒玉三名同学在现场研究，航院博士生祝世杰在家远程工作，主要负责写控制程序，提供远程支持。除此之外，清华校友帮助解决测温仪改装成遥控的问题，计算机系师生帮助解决机械手操作软件兼容的问题。

项目背景及意义 国内外反恐排爆形式日趋严峻，一系列的恶性暴恐事件，对社会和国家造成重大损失。因此，研发专用于爆炸环境的应急处置特种机器人，代替人进入有爆炸可疑物的危险场所中，通过场外人员的遥操作实时控制，完成对现场的搜索、探测和对可疑物的处理，减少排爆人员的伤亡。研究基于遥操作技术的排爆机器人操作方法，提高机器人的操作性能，增加排爆的成功率。同时，机器人的研制将带动相关行业领域自主创新和技术进步，提升我国排爆机器人装备在国际市场的核心竞争力，推动经济转型升级。 项目展示及介绍 本单位开发的遥操作排爆机器人由两部分组成：实物样机和控制系统，样机由机械臂、运动平台、控制箱组成；控制系统由操作人员的控制端和车载机械臂的执行端组成。样机机械臂由4+1个自由度组成，用于完成可疑爆炸物的抓取；履带型移动平台保证排爆机器人可以安全可靠到达操作环境，控制箱是控制排爆机器人各关节的“手柄”，通过控制面板上的旋钮、按键等控件完成排爆任务。排爆机器人样机是躯干、控制系统是大脑、控制方式是思维策略、通讯方式是神经，其中控制系统是本设备的研究重点。 本套设备选用国产控制器作为控制端和车载端的控制核心；选用无线通讯设备保证机器人可以在距操作者八百米仍可以正常工作；选用推杆和旋钮保证操作简便，控制可靠。使用上位机软件进行程序编写，通讯和控制方式主要是串口和CAN。 项目特点： 遥操作控制 排爆机器人采用的遥控操作方式，由操作人员在远端控制台控制机器人执行相关排爆操作，然后控制信号经远距离无线通讯系统传递给机器人机载接收机，进入控制器，控制机器人本体的机构运动，通信内容包括数据、视频、音频信息。 遥操作技术将排爆人员从危险的环境中解放出来，对于保护排爆人员人身安全具有重要意义。遥操作技术克服了传统线缆操作的局限性，可以保证一定的数据穿透能力。 多传感器信息融合 排爆机器人的工作环境较为恶劣现场非传统结构化已知空间，在机身及机械臂上安装了较多的传感器，用于检测机体及外部环境信息。融合多传感器采集到的信息，无损、安全传送给远端操作人员，为操作人员提供准确可靠的现场信息。提高排爆的成功概率。 排爆机械臂运动控制研究 此部分研究主要包括排爆机械臂运动学及动力学特性分析、排爆机械臂运动控制算法研究等。此部分的研究难点在于机械臂逆运动学的实时分析和多自由度机械臂末端运动的精确控制。 主要技术指标：