一、项目简介 随着科技进步和社会需求的发展，机器人手/臂除了工业生产，也越来越多用于服务人类的其它各个领域，这必然会使机器人承担比工业中更加多样的操作任务，面临更加多变的工作环境。因此，国内外对非结构自然环境下、具备自主操作能力的机器人的研究十分重视。当前，具备视觉感知能力的机器人已被公认为机器人发展的主流趋势，将视觉与机器人操作相融合，是对人类行为的模拟，由此产生的视觉伺服控制方法为机器人自主操作能力的实现带来了新的思路，代表了机器人的先进控制技术，也是促进机器人智能化发展的一个重要驱动。可以预见，未来的视觉系统将会成为机器人名副其实的眼睛，视觉伺服技术在机器人自主操作中将具有不可替代的作用。 视觉伺服利用视觉传感器提供的环境信息对机器人运动进行实时反馈控制，涉及机器人机械几何设计、运动学和动力学、自动控制理论、计算机视觉图像处理和摄像机标定等,是智能机器人领域中具有重要理论意义的研究课题之一。迄今为止，机器人手/臂的视觉伺服方法在太空遥操作、机器人手术、水果采摘、工业装配、焊接、抓取以及微操作等方面得到越来越多的应用。然而，现阶段可实际应用的方案主要面向特定的标定环境、模型参数已知，机器人操作是编码定式的，不具备模型未知条件下的自主操作能力，特别是当面向未来的刚-柔-软体共融机器人时，其柔型结构造成的运动模型及参数的变化与不确定性，必然使现有确定模型的研究方法失效。因此，无模型（目标几何模型，手眼标定模型，机器人运动模型）、非结构环境下的自适应操作对机器人提出了新挑战，是机器人手臂(尤其柔型手臂)视觉伺服控制研究的难点与前沿问题，不断深入对非结构环境下、无模型的机器人手/臂视觉伺服控制的研究具有重要的理论和现实意义。 在非结构自然环境下使机器人像人一样协调自适应操作是当今机器人研究领域的一项尚未实现但又令人感兴趣的研究工作。从理论上看，非结构自然环境下实现机器人柔性操作，就当前研究依靠单一的控制器设计是困难的。因此，本项目借鉴人的手眼协调操作是自适应学习过程，涉及智能进化和行为优化，将随机动态规划理论，结合约束规则与最优化控制，探索一种变参手眼关系，实现机器人在非结构自然环境下的自适应操作。 二、前期研究基础 研究团队一直致力于机器人视觉反馈控制的研究。在基础理论研究上，针对无标定视觉伺服控制方案与设计，均提出了一些新型方法，有扎实的理论基础和知识积累，并不断跟踪和深入在无模型视觉伺服控制的方面研究和前沿问题。目前，已经着手在无模型视觉伺服的可靠性、稳定性控制方面做了充分的探索工作：针对机器人无标定全局稳定操作问题，研究了一种鲁棒卡尔曼滤波(RKF)合作Elman神经网络(ENN)的全局稳定视觉伺服控制方法；提出了一种基于网络辅助尔曼滤波状态估计的无标定视觉伺服方法，提高伺服系统的鲁棒性。同时，立足机器人发展前沿，建立了多模特征深度学习抓取系统，在无结构环境下实现了机器人智能抓取与定位。 已发表的与项目相关的主要论文有： [1] 仲训杲,徐敏,仲训昱,彭侠夫.基于多模特征深度学习的机器人抓取判别方法.自动化学报,2016,7(42), pp:1022-1029. (EI) [2] Xungao Zhong, Xunyu Zhong and Xiafu Peng. Robots Visual Servo Control with Features Constraint Employing Kalman-Neural-Network Filtering Scheme. Neurocomputing, 2015, 151(3), pp:268-277 (SCI)  [3] Xungao Zhong, Xunyu Zhong and Xiafu Peng. Robust Kalman FilteringCooperated Elman Neural Network Learning forVision-Sensing-Based RoboticManipulation with Global Stability. Sensors, 2013, 10(13), pp:13464-13486. (SCI) [4] Xungao Zhong, Xiafu Peng, Xunyu Zhongand Lixiong Lin. Dynamic Jacobian Identification Based on State-Space for Robot Manipulation. Applied Mechanics andMaterials, vols. 475-476 (2014)pp: 675-679.(EI) [5] Xungao Zhong, Xiafu Peng, Xunyu Zhong and Xueren Dong. Multi-Channel with RBF Neural Network Aggregation Based on Disparity Space for Color Image Stereo Matching. IEEE 5th International Conference on Advanced Computational Intelligence (ICACI), 10(2012) PP:620-625. (EI) [6]XUNGAO ZHONG, XIAFU PENG, XUNYU ZHONG. NEURAL-BAYESIAN FILTERING BASED ON MONTE CARLO RESAMPLING FOR VISUAL ROBUST TRACKING. Journal of Theoretical and Applied Information Technology, 2013, 2(50), pp: 490-496. [7] Xungao Zhong, Xiafu Peng and Xunyu Zhong. Severe-Dynamic Tracking Problems Based on Lower Particles Resampling. TELKOMNIKA Indonesian Journal of Electrical Engineering. 2014, 12(6), pp:4731-4739. [8] Xunyu Zhong, Xungao Zhong and Xiafu Peng. Velocity-Change-Space-based Dynamic Motion Planning for Mobile Robots Navigation. Neurocomputing. 2014, 143(11), pp:153-163. (SCI) [9] Xunyu Zhong, Xungao Zhong, Xiafu Peng. VCS-based motion planning for distributed mobile robots: collision avoidance and formation. Soft Computing,2016,5(20), pp: 1897-1908. (SCI) [10] 仲训杲,徐敏, 仲训昱, 彭侠夫. 基于雅可比预测的机器人无模型视觉伺服定位控制, 控制与决策, 已在线发表, 2018. [11] 仲训杲,徐敏, 仲训昱, 彭侠夫. 基于图像的机器人非标定视觉反馈控制全局定位方法, 厦门大学学报(自然科学版), 已录用, 2018. 三、应用技术成果 （一）基于多模特征深度学习的机器人抓取判别 研究了多模特征深度学习及其在机器人智能抓取判别中的应用，该方法针对智能机器人抓取判别问题, 研究多模特征深度学习与融合方法. 该方法将测试特征分布偏离训练特征视为一类噪化, 引入带稀疏约束的降噪自动编码 (Denoising auto-encoding, DAE), 实现网络权值学习; 并以叠层融合策略, 获取初始多模特征的深层抽象表达, 两种手段相结合旨在提高深度网络的鲁棒性和抓取判别精确性. 实验采用深度摄像机与 6 自由度工业机器人组建测试平台, 对不同类别目标进行在线对比实验. 结果表明, 设计的多模特征深度学习依据人的抓取习惯, 实现最优抓取判别, 并且机器人成功实施抓取定位, 研究方法对新目标具备良好的抓取判别能力. （二）无标定视觉伺服解决方案及其机器人操作应用 研究了无标定视觉伺服方法及其在机械臂任务操作中的应用。首先提出视觉伺服目标：假设机器人或者摄像节的模型参数未知或者部分未知，视觉伺服的目标是使用摄像节作为传感器，引导机械臂运动，使当前图像特征收敛到期望图像特征，从而完成定位或者跟踪的任务。 手眼协调关系描述。关节图像雅克比矩阵定量描述了机械臂关节变化引起图像特征变化，它是关节-图像映射的局部线性化矩阵。 建立图像雅克比的在线估计器。将关节图像雅克比矩阵的每一个元素作为辅助系统的状态，建立辅助系统的状态方程；摄像机提取到的图像特征作为测量值，建立辅助系统的观测方程。根据Kalman滤波器理论，我们设计了对关节图像雅克比的在线实时估计算法。 构建基于图像矩的目标函数。为了避免传统的基于点特征的缺陷，例如点特征的标记、提取与匹配过程复杂且通用性较差问题。构建基于图像矩的图像特征向量完成视觉伺服任务，来提高视觉伺服系统的稳定性和可靠性。 四、合作企业 厦门万久科技股份有限公司是一家集销售、软件研发、技术服务、加工技术整合为一体的高新技术企业。目前公司的经营范围涉及CNC软件开发及数控系统销售、CNC控制零件销售及专业维修；工艺优化、机台升级与技术改造、工程配电与软件优化、专用机控制系统开发、多轴机的设计与开发、机台精度检测与校正优化服务等。公司是国际知名生产制造企业——富士康的产品供应商和技术服务商。    

本发明提出了一种基于操作转换的文本编辑实时协同方法，本发明首先通过产生的本地操作发送到 其他站点，然后通过因果接受找出与该操作具有并发关系的操作；对其进行转换得到该操作在该站点的 执行形式，并将该操作加入到执行队列，完成协同编辑；本发明能够支持在网络环境下多用户实时对同 一文本进行协同编辑；本发明能够支持实时协同编辑工作，即所有的用户最终得到一致的结果的，并且 结果是用户想要的；本发明应用到实时协同编辑中不需要全序控制；不仅能够做到结果一致，而

1.痛点问题 协作机器人与人类共享工作空间，通过直接（即物理上）或间接地与人类交互共同开展操作任务。相比传统工业机器人，协作机器人有更高的安全性和更易于编程的特点，能够通过人类示教部署于各种不同的任务并灵活地与人类配合。随着传统工业机器人带来的效率提升趋于饱和，能够安全配合人类的协作机器人能够进一步提高制造业的生产效率，带来可观的经济效益。然而，现有的协作机器人存在以下两大痛点问题。 问题一：安全和效率之间的权衡一直是人机交互中未系统解决的开放性问题。当存在人机直接接触时，为了保证人的安全，现有的协作机器人是通过中止正在进行的任务、顺从人的干预以保证安全；然而，不论人是有意地干预（即工人直接抓取机械臂来引导其任务）还是无意地接触机器人，都将造成机器人暂停手头工作；直到人类停止干预，机器人才能继续执行它的任务。虽然这种人机协作方式能够保证机器人与工人合作的安全，但因为机器人需要在不同的工作模式之间切换，其工作效率将会受到影响。 问题二：如何提高人的示教效率为协作机器人的另一大痛点问题。协同机器人多用于能够灵活拆装的生产线，以适应新的任务，因此新任务的编程效率很大程度上决定了工作效率。基于人类示教的编程方式具有自然、本能的优势，能够直接传递人类的操作技巧与经验。其中，将示教轨迹参数化为可以编辑修改、适应不同任务的形式是提高效率的核心问题。该示教轨迹不光应该包含机器人末端的运动数据，而且应该包含同时调整的冗余关节运动数据，从而同时完成末端主任务与关节避障任务，以适应工作环境。现有的示教方式未能结合离线示教与在线介入，因此无法适用于需要同时记录机器人末端和关节的示教任务。 2.解决方案 本项成果基于增强现实-触觉感知技术，开发了混合交互接口与人机互补操作算法，以解决上述痛点问题。 ①对于问题一，本项成果提出了自适应视觉控制与零空间阻尼控制的协作框架：在有限视场、未校正相机、关节奇异的情况下，保证了机器人在整个工作空间内的全局稳定性；在不影响机器人末端任务的前提下，允许人类专家随时、安全地介入以改变机器人关节姿态，以应对环境动态变化或突发事件，从而实现了安全与效率并重的人机协作方式。 ②对于问题二，本项成果构建了增强现实-触觉感知的混合接口，让人类专家可以在任务和冗余联合空间进行双手演示，同时记录机器人末端与机器人关节的数据。示教轨迹基于DMP方法进行参数化，能够根据不同任务所需的末端位置、关节角度、运动速度进行自适应调整，在保证末端任务精度的同时完成关节的避障任务。 技术核心： ①基于增强现实-触觉感知的混合交互接口; ②用于双手示教的机器人轨迹学习方法; ③自适应全局稳定控制算法。 预期产品：用于人机互补协同操作的设备与软件 3.合作需求 1)资金需求：本项成果开发的人机互补协作平台，在硬件与软件研发阶段需要资金投入，需约250-500万元人民币； 2)孵化资源：公司研发所需办公及研发场地、实验室、分析与测试实验室等； 3)团队：协作平台开发团队、商务开发与合作团队、财务、法务等支持团队； 4)生产制造企业合作：提供人机协同操作的场景与需求，开展工厂真实环境的测试与部署； 5)基础研究合作：与协作机器人、增强现实、触觉感知方向的国内外基础研究团队合作，开发新的交互设备与算法。

1、中控室操作员2、质管部工艺员

IECUBE-3833集成电路实景操作VR实训平台可提供集成电路制造设备、工艺制造、封装操作和器件测试4类VR实操实验，与IECUBE-3831和IECUBE-3832平台配合使用。

中标麒麟高级服务器操作系统软件V7.0是在多年Linux研制经验基础上，适应虚拟化、云计算、大数据，满足业务对性能、扩展性、安全等要求，依照CMMI5标准研发，针对关键业务及数据负载而构建的功能丰富、安全、可靠、易管理、高性能的国产服务器操作系统；广泛应用于物理和虚拟化环境，公共云平台、私有云环境和混合云环境。系统实现对龙芯、申威、兆芯、海光、鲲鹏等自主CPU及x86平台的同源支持。 产品特点 统一的集群管理 提供中标麒麟综合管理平台实现对物理服务器集群运行状态的监控及预警、对虚拟化集群的配置及管控、对高可用集群的策略定制和资源调配等功能；为企业级数据中心用户打造统一的混合集群监管模式及一体化的IT基础软件平台解决方案。 易用、稳定、高效 提供全中文化的操作环境和常用的图形管理工具，符合i18n（国际化）技术标准，支持最新国家标准字符集（GB18030-2005）；符合LSB规范和CGL5.0标准。 便捷升级和维护 集成中标麒麟产品升级中心，提供公网升级服务/支持用户自建的内网升级中心；利用图形化的软件包升级工具进行系统升级，保障操作系统的安全性与稳定性。 良好的软硬件兼容性 用户可以在x86、龙芯、申威、Power和ARM64等异构硬件平台进行操作系统部署、升级，满足用户在不同底层CPU架构上操作系统运行的高稳定性要求。 中标麒麟高级服务器操作系统兼容国内外主流的软硬件产品，是国内同时获得Oracle、Vmware和Veritas等国际认证的操作系统厂商。 全方位的安全保障 支持国内外主流的可信计算标准规范（TCM/TPCM和TPM2.0）；支持国密增强算法；支持IPtables、支持SELinux；支持多因子认证、数据加密存储等，满足关键信息基础设施的安全保障要求。 与国内主流漏扫厂商（如绿盟科技、启明星辰等）建立漏洞扫描及修复的持续合作机制，为客户提供精确的漏扫报告，打造安全创新的基础软件平台环境。

CS2350M双恒电位仪是基于常规单通道CS350M 型电化学工作站拓展的产品，可以实现2个通道同步测试，搭配旋转环盘电极（RRDE）使用，各通道独立，可以实现不同参数、不同电分析方法的独立使用，软件友好，可以实现组合编程功能。具体应用于： 1）电合成、电沉积（电镀）、阳极氧化等反应机理研究； 2）电分析化学研究、电化学传感器的性能研究； 3）新型能源材料、先进功能材料以及光电材料的性能研究； 4）金属材料在不同介质（水/混凝土/土壤等）中的腐蚀研究蚀性评价； 5）缓蚀剂、水质稳定剂、涂层以及阴极保护效率的快速评价。 1、硬件参数指标   2，3，4电极体系 双恒电位仪，双通道独立使用 电位仪电位控制范围：±10V 恒电流控制范围：±1.0A 电位控制精度：0.1%×满量程读数±1mV 电流控制精度：0.1%×满量程读数 电位分辨率：10mV(>100Hz), 3mV(<10Hz) 电流灵敏度：<1pA 电位上升时间：<1mS(<10mA),<10mS(<2A) 参比电极输入阻抗：1012W||20pF 电流量程：2A～2nA, 共10档 最大输出电流：1.5A 槽压：±21V   CV 和LSV扫描速度：0.001mV～10000V/s CA和CC脉冲宽度：0.0001～65000s 电流扫描增量：1mA @1A/mS 电位扫描时电位增量：0.076mV @1V/mS SWV频率：0.001～100KHz DPV和NPV脉冲宽度：0.0001～1000s AD数据采集：16bit@1MHz, 20bit @1KHz DA分辨率：16bit, 建立时间：1mS CV的最小电位增量：0.075mV 低通滤波器：8段可编程 电流与电位量程：自动设置 接口通讯模式：网口   2、电化学阻抗功能指标   信号发生器： 频率响应：10mHz~1MHz 频率精确度：0.005% 交流信号幅值：1mV~2500mV 信号分辨率：0.1mV RMS 直流偏压：-10~+10V DDS输出阻抗：50W 波形：正弦波，三角波，方波 正弦波失真：<1% 扫描方式：对数/线性，增加/下降   信号分析器： 最小积分时间：10mS 或循环的最长时间 最大积分时间：106个循环或者105S 测量时间延迟：0~105秒 直流偏置补偿： 电位自动补偿范围：-10V~+10V 电流补偿范围：-1A~+1A 带宽调整(Bandwidth) ： 自动或手动设置，共8级可调   3、CorrTest测量与控制软件主要功能 第一通道软件功能 稳态极化：开路电位测量（OCP）、恒电位极化（I-t曲线)、恒电流极化、动电位扫描（TAFEL曲线）、动电流扫描（DGP） 暂态极化：任意恒电位阶梯波、任意恒电流阶梯波、恒电位阶跃、恒电流阶跃 计时分析：计时电位法（CP）、计时电流法（CA）、计时电量法（CC） 伏安分析：线性扫描伏安法（LSV）#、线性循环伏安法（CV）、阶梯循环伏安法（SCV）#、方波伏安法（SWV）#、差分脉冲伏安法（DPV）#、常规脉冲伏安法（NPV）#、常规差分脉冲伏安法（DNPV）#、差分脉冲电流检测法（DPA）、双差分脉冲电流检测法（DDPA）、三脉冲电流检测法（TPA）、积分脉冲电流检测法（IPAD）、交流伏安法（ACV）#、二次谐波交流伏安（SHACV）、傅里叶变换交流伏安【标#号的方法包括相应的溶出伏安分析方法】 交流阻抗：电化学阻抗～电位控制模式、电化学阻抗（EIS）～时间扫描、电化学阻抗（EIS）～电位扫描（Mott-Schottky曲线）、电化学阻抗～电流控制模式 腐蚀测量：动电位再活化法（EPR）、电化学噪声（EN）、电偶腐蚀测量（ZRA）、氢扩散测试 电池测试：电池充放电测试、恒电流充放电、恒电位间歇滴定（PITT）、恒电流间歇滴定（GITT） 其他：圆盘电极测试以及转速控制、溶液电阻测量（IR降）、溶液电阻正反馈补偿（IR补偿） 第二通道软件功能 稳态极化：开路电位测量（OCP）、恒电位极化（i-t 曲线）、恒电流极化、动电位扫描（TAFEL 曲线）、动电流扫描（DGP） 暂态极化：任意恒电位阶梯波、任意恒电流阶梯波、恒电位阶跃（VSTEP）、恒电流阶跃 计时分析：计时电位法（CP）、计时电流法（CA）、计时电量法（CC） 伏安分析：线性扫描伏安法（LSV）、线性循环伏安法（CV） 电池测量：电池充放电测试、恒电流充放电、恒电位间歇滴定（PITT）、恒电流间歇滴定（GITT） 其他：圆盘电极测试以及转速控制、溶液电阻测量（IR降）、溶液电阻正反馈补偿（IR补偿） 通道二可选配功能：交流阻抗功能   交流阻抗：电化学阻抗～电位控制模式、电化学阻抗（EIS）～时间扫描、电化学阻抗（EIS）～电位扫描（Mott-Schottky曲线）、电化学阻抗～电流控制模式 4、仪器配置 1）仪器主机1台； 2）CorrTest测试与分析软件1套 3）电源线1条 4）网口通讯线1条 5）电极电缆线2条 6）模拟电解池2个（仪器自检器件）

在现代工业生产中，大规模的工业生产和日益激烈的市场化竞争，使得企业越来越需要对整个生产过程进行总体优化操作，以得到最优生产过程。因此，为了最大限度发挥过程系统的生产潜力，取得最大的经济效益，必须随着实际操作环境和市场要求的变化及时地进行操作条件的优化，采用实时在线优化技术将稳态操作点逐渐移到相应工况的最佳操作点区域。对二甲苯（PX）氧化反应单元在精对苯二甲酸（PTA）生产过程中处于核心地位，它直接关系到PTA产品的质量、产量、醋酸燃烧损失以及PX单耗等。本项目基于PX氧化反应动力学，结合人工智能方法建立了PX氧化反应过程工艺机理数学模型，并依据工业装置数据采用随机搜索算法对该模型进行了优化校正，形成了能准确描述生产装置特性的机理模型；同时建立了PX与HAC的燃烧损失智能预测模型；建立了PX氧化过程的在线实时流程模拟系统，实现了关键性能指标4-CBA浓度以及PX和HAC燃烧损失的在线实时预测；对PX氧化过程的工艺操作条件进行了在线实时优化，降低了PX和HAC的燃烧损失，确保生产装置运行在最佳状态，产生了显著经济效益