一、项目简介 随着科技进步和社会需求的发展，机器人手/臂除了工业生产，也越来越多用于服务人类的其它各个领域，这必然会使机器人承担比工业中更加多样的操作任务，面临更加多变的工作环境。因此，国内外对非结构自然环境下、具备自主操作能力的机器人的研究十分重视。当前，具备视觉感知能力的机器人已被公认为机器人发展的主流趋势，将视觉与机器人操作相融合，是对人类行为的模拟，由此产生的视觉伺服控制方法为机器人自主操作能力的实现带来了新的思路，代表了机器人的先进控制技术，也是促进机器人智能化发展的一个重要驱动。可以预见，未来的视觉系统将会成为机器人名副其实的眼睛，视觉伺服技术在机器人自主操作中将具有不可替代的作用。 视觉伺服利用视觉传感器提供的环境信息对机器人运动进行实时反馈控制，涉及机器人机械几何设计、运动学和动力学、自动控制理论、计算机视觉图像处理和摄像机标定等,是智能机器人领域中具有重要理论意义的研究课题之一。迄今为止，机器人手/臂的视觉伺服方法在太空遥操作、机器人手术、水果采摘、工业装配、焊接、抓取以及微操作等方面得到越来越多的应用。然而，现阶段可实际应用的方案主要面向特定的标定环境、模型参数已知，机器人操作是编码定式的，不具备模型未知条件下的自主操作能力，特别是当面向未来的刚-柔-软体共融机器人时，其柔型结构造成的运动模型及参数的变化与不确定性，必然使现有确定模型的研究方法失效。因此，无模型（目标几何模型，手眼标定模型，机器人运动模型）、非结构环境下的自适应操作对机器人提出了新挑战，是机器人手臂(尤其柔型手臂)视觉伺服控制研究的难点与前沿问题，不断深入对非结构环境下、无模型的机器人手/臂视觉伺服控制的研究具有重要的理论和现实意义。 在非结构自然环境下使机器人像人一样协调自适应操作是当今机器人研究领域的一项尚未实现但又令人感兴趣的研究工作。从理论上看，非结构自然环境下实现机器人柔性操作，就当前研究依靠单一的控制器设计是困难的。因此，本项目借鉴人的手眼协调操作是自适应学习过程，涉及智能进化和行为优化，将随机动态规划理论，结合约束规则与最优化控制，探索一种变参手眼关系，实现机器人在非结构自然环境下的自适应操作。 二、前期研究基础 研究团队一直致力于机器人视觉反馈控制的研究。在基础理论研究上，针对无标定视觉伺服控制方案与设计，均提出了一些新型方法，有扎实的理论基础和知识积累，并不断跟踪和深入在无模型视觉伺服控制的方面研究和前沿问题。目前，已经着手在无模型视觉伺服的可靠性、稳定性控制方面做了充分的探索工作：针对机器人无标定全局稳定操作问题，研究了一种鲁棒卡尔曼滤波(RKF)合作Elman神经网络(ENN)的全局稳定视觉伺服控制方法；提出了一种基于网络辅助尔曼滤波状态估计的无标定视觉伺服方法，提高伺服系统的鲁棒性。同时，立足机器人发展前沿，建立了多模特征深度学习抓取系统，在无结构环境下实现了机器人智能抓取与定位。 已发表的与项目相关的主要论文有： [1] 仲训杲,徐敏,仲训昱,彭侠夫.基于多模特征深度学习的机器人抓取判别方法.自动化学报,2016,7(42), pp:1022-1029. (EI) [2] Xungao Zhong, Xunyu Zhong and Xiafu Peng. Robots Visual Servo Control with Features Constraint Employing Kalman-Neural-Network Filtering Scheme. Neurocomputing, 2015, 151(3), pp:268-277 (SCI)  [3] Xungao Zhong, Xunyu Zhong and Xiafu Peng. Robust Kalman FilteringCooperated Elman Neural Network Learning forVision-Sensing-Based RoboticManipulation with Global Stability. Sensors, 2013, 10(13), pp:13464-13486. (SCI) [4] Xungao Zhong, Xiafu Peng, Xunyu Zhongand Lixiong Lin. Dynamic Jacobian Identification Based on State-Space for Robot Manipulation. Applied Mechanics andMaterials, vols. 475-476 (2014)pp: 675-679.(EI) [5] Xungao Zhong, Xiafu Peng, Xunyu Zhong and Xueren Dong. Multi-Channel with RBF Neural Network Aggregation Based on Disparity Space for Color Image Stereo Matching. IEEE 5th International Conference on Advanced Computational Intelligence (ICACI), 10(2012) PP:620-625. (EI) [6]XUNGAO ZHONG, XIAFU PENG, XUNYU ZHONG. NEURAL-BAYESIAN FILTERING BASED ON MONTE CARLO RESAMPLING FOR VISUAL ROBUST TRACKING. Journal of Theoretical and Applied Information Technology, 2013, 2(50), pp: 490-496. [7] Xungao Zhong, Xiafu Peng and Xunyu Zhong. Severe-Dynamic Tracking Problems Based on Lower Particles Resampling. TELKOMNIKA Indonesian Journal of Electrical Engineering. 2014, 12(6), pp:4731-4739. [8] Xunyu Zhong, Xungao Zhong and Xiafu Peng. Velocity-Change-Space-based Dynamic Motion Planning for Mobile Robots Navigation. Neurocomputing. 2014, 143(11), pp:153-163. (SCI) [9] Xunyu Zhong, Xungao Zhong, Xiafu Peng. VCS-based motion planning for distributed mobile robots: collision avoidance and formation. Soft Computing,2016,5(20), pp: 1897-1908. (SCI) [10] 仲训杲,徐敏, 仲训昱, 彭侠夫. 基于雅可比预测的机器人无模型视觉伺服定位控制, 控制与决策, 已在线发表, 2018. [11] 仲训杲,徐敏, 仲训昱, 彭侠夫. 基于图像的机器人非标定视觉反馈控制全局定位方法, 厦门大学学报(自然科学版), 已录用, 2018. 三、应用技术成果 （一）基于多模特征深度学习的机器人抓取判别 研究了多模特征深度学习及其在机器人智能抓取判别中的应用，该方法针对智能机器人抓取判别问题, 研究多模特征深度学习与融合方法. 该方法将测试特征分布偏离训练特征视为一类噪化, 引入带稀疏约束的降噪自动编码 (Denoising auto-encoding, DAE), 实现网络权值学习; 并以叠层融合策略, 获取初始多模特征的深层抽象表达, 两种手段相结合旨在提高深度网络的鲁棒性和抓取判别精确性. 实验采用深度摄像机与 6 自由度工业机器人组建测试平台, 对不同类别目标进行在线对比实验. 结果表明, 设计的多模特征深度学习依据人的抓取习惯, 实现最优抓取判别, 并且机器人成功实施抓取定位, 研究方法对新目标具备良好的抓取判别能力. （二）无标定视觉伺服解决方案及其机器人操作应用 研究了无标定视觉伺服方法及其在机械臂任务操作中的应用。首先提出视觉伺服目标：假设机器人或者摄像节的模型参数未知或者部分未知，视觉伺服的目标是使用摄像节作为传感器，引导机械臂运动，使当前图像特征收敛到期望图像特征，从而完成定位或者跟踪的任务。 手眼协调关系描述。关节图像雅克比矩阵定量描述了机械臂关节变化引起图像特征变化，它是关节-图像映射的局部线性化矩阵。 建立图像雅克比的在线估计器。将关节图像雅克比矩阵的每一个元素作为辅助系统的状态，建立辅助系统的状态方程；摄像机提取到的图像特征作为测量值，建立辅助系统的观测方程。根据Kalman滤波器理论，我们设计了对关节图像雅克比的在线实时估计算法。 构建基于图像矩的目标函数。为了避免传统的基于点特征的缺陷，例如点特征的标记、提取与匹配过程复杂且通用性较差问题。构建基于图像矩的图像特征向量完成视觉伺服任务，来提高视觉伺服系统的稳定性和可靠性。 四、合作企业 厦门万久科技股份有限公司是一家集销售、软件研发、技术服务、加工技术整合为一体的高新技术企业。目前公司的经营范围涉及CNC软件开发及数控系统销售、CNC控制零件销售及专业维修；工艺优化、机台升级与技术改造、工程配电与软件优化、专用机控制系统开发、多轴机的设计与开发、机台精度检测与校正优化服务等。公司是国际知名生产制造企业——富士康的产品供应商和技术服务商。    

1.痛点问题 协作机器人与人类共享工作空间，通过直接（即物理上）或间接地与人类交互共同开展操作任务。相比传统工业机器人，协作机器人有更高的安全性和更易于编程的特点，能够通过人类示教部署于各种不同的任务并灵活地与人类配合。随着传统工业机器人带来的效率提升趋于饱和，能够安全配合人类的协作机器人能够进一步提高制造业的生产效率，带来可观的经济效益。然而，现有的协作机器人存在以下两大痛点问题。 问题一：安全和效率之间的权衡一直是人机交互中未系统解决的开放性问题。当存在人机直接接触时，为了保证人的安全，现有的协作机器人是通过中止正在进行的任务、顺从人的干预以保证安全；然而，不论人是有意地干预（即工人直接抓取机械臂来引导其任务）还是无意地接触机器人，都将造成机器人暂停手头工作；直到人类停止干预，机器人才能继续执行它的任务。虽然这种人机协作方式能够保证机器人与工人合作的安全，但因为机器人需要在不同的工作模式之间切换，其工作效率将会受到影响。 问题二：如何提高人的示教效率为协作机器人的另一大痛点问题。协同机器人多用于能够灵活拆装的生产线，以适应新的任务，因此新任务的编程效率很大程度上决定了工作效率。基于人类示教的编程方式具有自然、本能的优势，能够直接传递人类的操作技巧与经验。其中，将示教轨迹参数化为可以编辑修改、适应不同任务的形式是提高效率的核心问题。该示教轨迹不光应该包含机器人末端的运动数据，而且应该包含同时调整的冗余关节运动数据，从而同时完成末端主任务与关节避障任务，以适应工作环境。现有的示教方式未能结合离线示教与在线介入，因此无法适用于需要同时记录机器人末端和关节的示教任务。 2.解决方案 本项成果基于增强现实-触觉感知技术，开发了混合交互接口与人机互补操作算法，以解决上述痛点问题。 ①对于问题一，本项成果提出了自适应视觉控制与零空间阻尼控制的协作框架：在有限视场、未校正相机、关节奇异的情况下，保证了机器人在整个工作空间内的全局稳定性；在不影响机器人末端任务的前提下，允许人类专家随时、安全地介入以改变机器人关节姿态，以应对环境动态变化或突发事件，从而实现了安全与效率并重的人机协作方式。 ②对于问题二，本项成果构建了增强现实-触觉感知的混合接口，让人类专家可以在任务和冗余联合空间进行双手演示，同时记录机器人末端与机器人关节的数据。示教轨迹基于DMP方法进行参数化，能够根据不同任务所需的末端位置、关节角度、运动速度进行自适应调整，在保证末端任务精度的同时完成关节的避障任务。 技术核心： ①基于增强现实-触觉感知的混合交互接口; ②用于双手示教的机器人轨迹学习方法; ③自适应全局稳定控制算法。 预期产品：用于人机互补协同操作的设备与软件 3.合作需求 1)资金需求：本项成果开发的人机互补协作平台，在硬件与软件研发阶段需要资金投入，需约250-500万元人民币； 2)孵化资源：公司研发所需办公及研发场地、实验室、分析与测试实验室等； 3)团队：协作平台开发团队、商务开发与合作团队、财务、法务等支持团队； 4)生产制造企业合作：提供人机协同操作的场景与需求，开展工厂真实环境的测试与部署； 5)基础研究合作：与协作机器人、增强现实、触觉感知方向的国内外基础研究团队合作，开发新的交互设备与算法。

1、中控室操作员2、质管部工艺员

IECUBE-3833集成电路实景操作VR实训平台可提供集成电路制造设备、工艺制造、封装操作和器件测试4类VR实操实验，与IECUBE-3831和IECUBE-3832平台配合使用。

本项目在 2 项国家自然科学基金项目和国家"863"计划海洋重大专项连续 3个五年计划滚动支持下，历经 10 多年产学研联合攻关，研究并掌握了基于稀疏换能器阵列的三维成像规律，发明了适用于近场和远场条件下的换能器阵列稀疏方法，解决了换能器阵元数量巨大所导致的高系统复杂度难题；研究了波束形成算法的计算机制，发明了分布式子阵波束形成实时处理算法和动态三维图像构建方法，实现了水下高分辨率三维场景的实时成像；发明了基于大规模 FPGA 的并行处理系统架构，实现了 128×128 个波束信号的高速实时计算，成功研制了高分辨率相控阵三维声学摄像声纳系统，为我国海底探测和水下安防等提供了一整套高端先进的探测手段。本项目的成果打破了国外的技术垄断，填补了国内空白，作为国家重大科技成果参加了“十一五”国家重大科技成就展。本项目共申请国家发明专利 18 项，其中授权 14 项；获得美国发明专利授权 2 项；获得软件著作权 3 项；发表 SCI/EI论文 16 篇；经由两位院士和其他专家组成的专家组鉴定，项目总体技术水平达到国际领先，为行业进步起到重要的推动作用。

本实用新型公开了一种污染土电导率测量及电渗过程电学参数变化实时监测装置，包括计算机、数据采集系统、有机玻璃圆筒、程控电源箱、TDR100测试仪、温度检测模块、电压检测模块、电流检测模块、LAQUA电导率测试仪、电子称和过滤收集瓶；有机玻璃圆筒的中轴线上设置金属管作为阴极，内壁缠绕EKG土工布作为阳极；金属管侧壁开有小孔，外层包裹土工布；电渗排水通过土工布进入金属管然后通过有机玻璃圆筒底部的排水孔经排水导管进入过滤收集瓶；三个温度传感器分别插入阴极土体、阳极土体和阴极阳极之间的土体中；本实用新型装置由计算机来统一管理数据采集系统下的节点装置的工作状态，电导率测量更加准确有效。

为克服传统的两栖车在水下无法与基站及时通讯的弊端，本发明公开的一种能够实时通信的水陆两栖无人巡逻车，采用配有通信模块和导航定位模块的浮标，通过防水电缆连接水陆两栖无人巡逻车，使浮标—两栖车系统与基站之间实现实时通讯，便于根据工作环境灵活下达指令，对无人两栖巡逻车进行实时控制。 一、项目分类 关键核心技术突破 二、技术分析 浙江大学聚焦超洁净流控系统基础研究、技术攻关和产品研发，攻克了影响光刻分辨率、良品率与产率的1mk级温度测控、5ppt级金属离子测控、20μm级气泡测控、50nm级残留液膜测控等关键核心技术 一、项目分类 关键核心技术突破 二、技术分析 为克服传统的两栖车在水下无法与基站及时通讯的弊端，本发明公开的一种能够实时通信的水陆两栖无人巡逻车，采用配有通信模块和导航定位模块的浮标，通过防水电缆连接水陆两栖无人巡逻车，使浮标—两栖车系统与基站之间实现实时通讯，便于根据工作环境灵活下达指令，对无人两栖巡逻车进行实时控制。本发明公开的一种能够实时通信的水陆两栖无人巡逻车，采用防水电缆，通过自动收放线装置使其始终处于张紧状态，保证两栖车与浮标的同步运动，便于实时定位两栖车位置，并能够避免因缆线松垮而与障碍物缠绕打结导致影响两栖车工作。本发明公开的一种能够实时通信的水陆两栖无人巡逻车，浮标内部空间根据相关零部件功能、体积大小及相互之间的工作关系分层布设，能够在保证工作可靠性的基础上进一步实现紧凑布局。本发明能够应用于水陆两栖车辆技术领域，拓宽水陆两栖无人巡逻车的应用场景。

本发明属于水电能源优化运行领域，公开了一种实时负荷下水电站多模式时空嵌套出力动态调整方法，该方法以实时负荷变化量大小为依据，制定多种模式调整策略。当电站接受到新负荷指令时，自动进入其相应调整模式。本发明方法可减少电站机组出力变幅、有效躲避振动区、降低穿越振动区次数，且电站总耗水率与计划经济运行计算得到的耗水率非常接近，无明显额外耗水。因此本发明方法兼顾稳定性、经济性与高效性，比现有技术更为经济、安全、高效。

由于航空发动机和燃气轮机叶片型面是空间异型曲面，因而其设计、制造及维修都面临巨大挑战。为了在设计加工层面提高叶片加工质量，同时在修复层面提高叶片使用寿命，开展叶片高效高精测量研究至关重要。 本项目面向叶片制造研发了一套基于四轴运动平台与线激光扫描相结合的叶片型面检测装置，并开发了集运动控制、数据采集与处理、精度评估等多功能于一体的软件系统，可实现多类型叶片的二维截面高精度测量与三维型面自动化高效重构,有效克服因叶片复杂结构特征带来的扫描数据密度差异性大、重叠区不足等因素对重构精度的影响。本项目面向叶片3D打印修复，研发了一套高效高精度的叶片检测方法与集成系统，可实现批量化叶片截面轮廓位姿及其轮廓的自动化测量、数据重构和叶片配准，为叶片修复工艺流程中的3D打印和后续机加工等工艺环节提供关键的数字化测量、加工工艺数据，有效提升修复精度与效率，并降低成本。 本项目的开发成果可应用于航空发动机、燃气轮机等叶片制造、修复全生命周期的测评、重构、反求等场景，市场规模大。 图 面向叶片3D打印修复的检测方法与集成系统硬件平台