成果与项目的背景及主要用途： 基于最大整体相似性的超像素网格，随着当今拍照设备像素不断提高，同时照片数量成几何级数增长，在图像中进行语义级别的快速目标定位已是当下热门问题。 技术原理与工艺流程简介： 快速的在输入图像里找到事先定义的目标物体，也是当今图像检索领域里面的一个核心技术。 如下图所示： (a) 图中人偶为用户定义的查询目标 (b) 图为待查询图像 (e)~(h) 目前现有方法的目标定位的结果及所用时间 (i) 我们的技术的图像定位效果和所用时间 （注：红色框出的部分为算法定位并分割出的结果） 算法在图像快速目标定位上：快！准！狠！ 

本发明公开了一种机器人砂轮位置标定装置及标定方法，属于 机器人智能加工技术领域。标定装置包括装置主体和两个圆柱体。装 置主体的 A 平面与砂轮侧面贴合，两个圆柱体的圆柱面与砂轮外圆柱 面相切。依据标定方法要求，机器人夹持标定装置移动，使标定装置 接触砂轮，获得装置主体上标定点坐标并进行分析运算，确定砂轮轴 线与砂轮侧面的交点的坐标和砂轮半径，确定砂轮位置。本发明可以 实现对砂轮空间位置的精确标定，能够大幅提升砂轮位置标定的效率 和精度。

一、项目简介 随着科技进步和社会需求的发展，机器人手/臂除了工业生产，也越来越多用于服务人类的其它各个领域，这必然会使机器人承担比工业中更加多样的操作任务，面临更加多变的工作环境。因此，国内外对非结构自然环境下、具备自主操作能力的机器人的研究十分重视。当前，具备视觉感知能力的机器人已被公认为机器人发展的主流趋势，将视觉与机器人操作相融合，是对人类行为的模拟，由此产生的视觉伺服控制方法为机器人自主操作能力的实现带来了新的思路，代表了机器人的先进控制技术，也是促进机器人智能化发展的一个重要驱动。可以预见，未来的视觉系统将会成为机器人名副其实的眼睛，视觉伺服技术在机器人自主操作中将具有不可替代的作用。 视觉伺服利用视觉传感器提供的环境信息对机器人运动进行实时反馈控制，涉及机器人机械几何设计、运动学和动力学、自动控制理论、计算机视觉图像处理和摄像机标定等,是智能机器人领域中具有重要理论意义的研究课题之一。迄今为止，机器人手/臂的视觉伺服方法在太空遥操作、机器人手术、水果采摘、工业装配、焊接、抓取以及微操作等方面得到越来越多的应用。然而，现阶段可实际应用的方案主要面向特定的标定环境、模型参数已知，机器人操作是编码定式的，不具备模型未知条件下的自主操作能力，特别是当面向未来的刚-柔-软体共融机器人时，其柔型结构造成的运动模型及参数的变化与不确定性，必然使现有确定模型的研究方法失效。因此，无模型（目标几何模型，手眼标定模型，机器人运动模型）、非结构环境下的自适应操作对机器人提出了新挑战，是机器人手臂(尤其柔型手臂)视觉伺服控制研究的难点与前沿问题，不断深入对非结构环境下、无模型的机器人手/臂视觉伺服控制的研究具有重要的理论和现实意义。 在非结构自然环境下使机器人像人一样协调自适应操作是当今机器人研究领域的一项尚未实现但又令人感兴趣的研究工作。从理论上看，非结构自然环境下实现机器人柔性操作，就当前研究依靠单一的控制器设计是困难的。因此，本项目借鉴人的手眼协调操作是自适应学习过程，涉及智能进化和行为优化，将随机动态规划理论，结合约束规则与最优化控制，探索一种变参手眼关系，实现机器人在非结构自然环境下的自适应操作。 二、前期研究基础 研究团队一直致力于机器人视觉反馈控制的研究。在基础理论研究上，针对无标定视觉伺服控制方案与设计，均提出了一些新型方法，有扎实的理论基础和知识积累，并不断跟踪和深入在无模型视觉伺服控制的方面研究和前沿问题。目前，已经着手在无模型视觉伺服的可靠性、稳定性控制方面做了充分的探索工作：针对机器人无标定全局稳定操作问题，研究了一种鲁棒卡尔曼滤波(RKF)合作Elman神经网络(ENN)的全局稳定视觉伺服控制方法；提出了一种基于网络辅助尔曼滤波状态估计的无标定视觉伺服方法，提高伺服系统的鲁棒性。同时，立足机器人发展前沿，建立了多模特征深度学习抓取系统，在无结构环境下实现了机器人智能抓取与定位。 已发表的与项目相关的主要论文有： [1] 仲训杲,徐敏,仲训昱,彭侠夫.基于多模特征深度学习的机器人抓取判别方法.自动化学报,2016,7(42), pp:1022-1029. (EI) [2] Xungao Zhong, Xunyu Zhong and Xiafu Peng. Robots Visual Servo Control with Features Constraint Employing Kalman-Neural-Network Filtering Scheme. Neurocomputing, 2015, 151(3), pp:268-277 (SCI)  [3] Xungao Zhong, Xunyu Zhong and Xiafu Peng. Robust Kalman FilteringCooperated Elman Neural Network Learning forVision-Sensing-Based RoboticManipulation with Global Stability. Sensors, 2013, 10(13), pp:13464-13486. (SCI) [4] Xungao Zhong, Xiafu Peng, Xunyu Zhongand Lixiong Lin. Dynamic Jacobian Identification Based on State-Space for Robot Manipulation. Applied Mechanics andMaterials, vols. 475-476 (2014)pp: 675-679.(EI) [5] Xungao Zhong, Xiafu Peng, Xunyu Zhong and Xueren Dong. Multi-Channel with RBF Neural Network Aggregation Based on Disparity Space for Color Image Stereo Matching. IEEE 5th International Conference on Advanced Computational Intelligence (ICACI), 10(2012) PP:620-625. (EI) [6]XUNGAO ZHONG, XIAFU PENG, XUNYU ZHONG. NEURAL-BAYESIAN FILTERING BASED ON MONTE CARLO RESAMPLING FOR VISUAL ROBUST TRACKING. Journal of Theoretical and Applied Information Technology, 2013, 2(50), pp: 490-496. [7] Xungao Zhong, Xiafu Peng and Xunyu Zhong. Severe-Dynamic Tracking Problems Based on Lower Particles Resampling. TELKOMNIKA Indonesian Journal of Electrical Engineering. 2014, 12(6), pp:4731-4739. [8] Xunyu Zhong, Xungao Zhong and Xiafu Peng. Velocity-Change-Space-based Dynamic Motion Planning for Mobile Robots Navigation. Neurocomputing. 2014, 143(11), pp:153-163. (SCI) [9] Xunyu Zhong, Xungao Zhong, Xiafu Peng. VCS-based motion planning for distributed mobile robots: collision avoidance and formation. Soft Computing,2016,5(20), pp: 1897-1908. (SCI) [10] 仲训杲,徐敏, 仲训昱, 彭侠夫. 基于雅可比预测的机器人无模型视觉伺服定位控制, 控制与决策, 已在线发表, 2018. [11] 仲训杲,徐敏, 仲训昱, 彭侠夫. 基于图像的机器人非标定视觉反馈控制全局定位方法, 厦门大学学报(自然科学版), 已录用, 2018. 三、应用技术成果 （一）基于多模特征深度学习的机器人抓取判别 研究了多模特征深度学习及其在机器人智能抓取判别中的应用，该方法针对智能机器人抓取判别问题, 研究多模特征深度学习与融合方法. 该方法将测试特征分布偏离训练特征视为一类噪化, 引入带稀疏约束的降噪自动编码 (Denoising auto-encoding, DAE), 实现网络权值学习; 并以叠层融合策略, 获取初始多模特征的深层抽象表达, 两种手段相结合旨在提高深度网络的鲁棒性和抓取判别精确性. 实验采用深度摄像机与 6 自由度工业机器人组建测试平台, 对不同类别目标进行在线对比实验. 结果表明, 设计的多模特征深度学习依据人的抓取习惯, 实现最优抓取判别, 并且机器人成功实施抓取定位, 研究方法对新目标具备良好的抓取判别能力. （二）无标定视觉伺服解决方案及其机器人操作应用 研究了无标定视觉伺服方法及其在机械臂任务操作中的应用。首先提出视觉伺服目标：假设机器人或者摄像节的模型参数未知或者部分未知，视觉伺服的目标是使用摄像节作为传感器，引导机械臂运动，使当前图像特征收敛到期望图像特征，从而完成定位或者跟踪的任务。 手眼协调关系描述。关节图像雅克比矩阵定量描述了机械臂关节变化引起图像特征变化，它是关节-图像映射的局部线性化矩阵。 建立图像雅克比的在线估计器。将关节图像雅克比矩阵的每一个元素作为辅助系统的状态，建立辅助系统的状态方程；摄像机提取到的图像特征作为测量值，建立辅助系统的观测方程。根据Kalman滤波器理论，我们设计了对关节图像雅克比的在线实时估计算法。 构建基于图像矩的目标函数。为了避免传统的基于点特征的缺陷，例如点特征的标记、提取与匹配过程复杂且通用性较差问题。构建基于图像矩的图像特征向量完成视觉伺服任务，来提高视觉伺服系统的稳定性和可靠性。 四、合作企业 厦门万久科技股份有限公司是一家集销售、软件研发、技术服务、加工技术整合为一体的高新技术企业。目前公司的经营范围涉及CNC软件开发及数控系统销售、CNC控制零件销售及专业维修；工艺优化、机台升级与技术改造、工程配电与软件优化、专用机控制系统开发、多轴机的设计与开发、机台精度检测与校正优化服务等。公司是国际知名生产制造企业——富士康的产品供应商和技术服务商。    

基于图像标定的光学定位技术主要由双目视觉定位系统、机械支架、特征标识器械、摄像机标定模板和软件系统五部分组成，其工作原理是利用计算机视觉领域的摄像机标定和三维重建理论。该技术可以精确测量视野内物体的几何尺寸，测量均方误差达到毫米级，具有很好的实时性和鲁棒性；同时该技术具有非接触性测量的优势，不影响被测物的正常工作，减少人工干预，避免接触测量造成的磨损。

产品详细介绍珠海市华普自动化科技有限公司网址 http://huapu.114ct.com/ 视频www.tudou.com/home/_75709667http://u.youku.com/user_show/id_UMjY2NTE3NTY4.htmlhttp://you.video.sina.com.cn/pnpnpnpnhttp://pnpnpnpnpn.51sole.com/ 视觉教育机器人   视觉教学机器人（机器人含视觉系统5.8万）珠海市华普自动化科技有限公司视觉教育机器人用视觉来做测量和判断，机器人视觉（即图像摄取装置，分 CMOS 和CCD 两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素位置、分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，输出位置或判别信号来控制现场教学机器人的动作。我公司视觉教育机器人人有以下两款：1|、2-6轴轨道机器人2-6轴轨道机器人由X,Y,Z,R，L等6关节/旋转轴6轴组成。机身整体高強度铝合金材，坚固耐用，惯量小，动态性能稳定,长时间使用不变形，精度稳定，使定位精度更加精确。主电机采用100-1000W伊莱斯伺服电机，重复定位精度±0.05mm。配电气控制箱。供电电源：220V、50Hz；电源容量：52KVA。机械臂粗壮牢固，转动灵活。工作范围500*500mm。 2、3-6自由度通用机器人3-6自由度通用机器人，采用垂直多关节串连结构，步进和伺服电机驱动，最大工作负载2.5kg ，重复定位精度±0.05mm。    产品特点：1、6轴联动，采用5.6寸液晶屏执行ISO国际标准G代码；2、采用多层线路板，32位高性能的CPU和超大规模可编程器件FPGA，系统的整个工艺采用表贴元器件，从而使整套系统更为紧凑；3、采用多达20级的运动指令缓冲区运动控制芯片，特别适合高速多线段或圆弧连续插补的运动控制；4、20路输入，20路输出接口；5、全光耦隔离，抗干扰性强，运行稳定；6、有手动，自动，归零，编辑，录入操作； 视觉系统配件选配说明（也可根据需要选择） 序号  名称  规格型号 1  工业数字相机  高分辨率工业相机  MV-1300UC  高速工业相机  MV-VD040C 2  工业镜头  百万像素工业镜头  2514MP  工业缩放镜头  ZL0920 3  LED光源  环形光源  AFT-RL100  平行光面光源  AFT-BL100  条形光源  AFT-WL100 4  软件  机器视觉图像处理软件  MV-MVIPS 5  光源控制器  模拟光源控制器  AFT-ALP2415  数字光源控制器  AFT-DLP2430  另外，机器人视觉细分应用： 模具残留物自动检测（模具保护）， 标准件筛选 适用于螺丝、螺母、垫片、螺母夹、轴套等标准件；检测类型：表面缺陷、尺寸测量、螺纹检测、特征检查等。 非标件检测 适用于汽车零配件、电子零配件、机械零配件、医疗器械；检测类型：表面缺陷、尺寸测量、特征检查、装配检查等。 印刷字符检测（RVT-KBI） 适用对象：手机按键、计算机键盘、仪器仪表等； 检测内容：印刷字符印刷质量、按键错误、字符错误、字符偏移等。一维码、二维码识别，数字、字符识别，颜色识别等； 检测内容：数据读取，字符识别，颜色判断等。珠海市华普自动化科技有限公司  网址 http://huapu.114ct.com/      http://pnpnpnpnpn.51sole.com/联系电话：13417736537   0756-7796528  13267957849 联系人：吴先生   电子邮件： 1113789835@qq.com  QQ：1113789835    http://pnpnpnpnpn.51sole.com/ http://pnpnpnpnpn.tgshebei.cn/usercplist.aspx视频：www.tudou.com/home/_75709667 http://u.youku.com/user_show/id_UMjY2NTE3NTY4.htmlhttp://you.video.sina.com.cn/hpzdhkj

通过给激光打标机装上眼睛（工业相机），从而让激光可以准确知道工件的位置信息，当工件位置出现偏差时，视觉系统可以自动修正工件的位置信息，使得工件被正确加工。加装系统后可提升产能100%-300%，减少人工成本40%-60%，定位精度达0.05-0.15mm。适用于汽车零部件、3C数码、医疗器械、生物医药、五金工具、精密仪器、半导体元器件、服装辅料、家用电器、工艺礼品、珠宝首饰等行业。

通过给激光打标机装上眼睛（工业相机），从而让激光可以准确知道工件的位置信息，当工件位置出现偏差时，视觉系统可以自动修正工件的位置信息，使得工件被正确加工。加装系统后可提升产能100%-300%，减少人工成本40%-60%，定位精度达0.05-0.15mm。适用于汽车零部件、3C数码、医疗器械、生物医药、五金工具、精密仪器、半导体元器件、服装辅料、家用电器、工艺礼品、珠宝首饰等行业。

1、产品介绍 AI人工智能语音与机器视觉应用系统是一款集成AI语音、机器视觉、深度学习基础、嵌入式Linux于一体的高端教学科研实验平台。 整个教学平台由实验箱高性能嵌入式主板够成，高性能嵌入式核心板采用高性能64位ARM处理器，标配4GB DDR3内存和16GB闪存，可运行ubuntu、android、linuxqt等多种操作系统，可满嵌入式linux和AI应用开发。 平台采用多核高性能 AI 处理器，预装 Ubuntu Linux 操作系统与 OpenCV 计算机视觉库，支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度学习端侧推理框架。 提供多种应用外设与丰富的机器视觉、AI语音、深度学习实战应用案例，如语音前处理（声源定位、语音增强、语音降噪、回声消除、声音提取）、语音活体检查、语音唤醒、语音识别、语音合成、自然语言处理、声纹识别门锁、语音智能家居、手写字识别、人脸识别、目标检测、端侧推理框架、图像识别、人体分析 、文字识别、人脸门禁控制、车牌道闸控制、手势家居控制等，通过案例教学让学生掌握计算机视觉与深度学习的基本原理和典型应用开发。 2、产品特点 （1）先进性 性能卓越：搭载AI嵌入式边缘计算处理器RK3399，配备4GB RAM与16GB存储空间，以及6英寸高清电容触摸屏，确保流畅的用户体验。 高效运算：配NPU协处理器模块，专为神经网络模型设计，提供高达8 TOPs@300mW的运算能力。 接口丰富：提供双路0、四路USB2.0、RS232、RS485以及多种嵌入式拓展接口，满足多样化的外设连接需求。 （2）扩展性 定制化设计：所有硬件单元均采用模块化设计，支持根据具体需求进行定制化选型和搭配。 项目套件丰富：提供多种可选的项目套件模块，支持完成多样化的AI应用场景设计和创新。 智能网关平台：智能边缘计算网关平台配备了包括GPIO、ADC、IIC、UART、PWM、SPI在内的常用接口拓展，增强了平台的适应性和灵活性。 （3）包容性 多功能应用：实验平台适用于人工智能、嵌入式系统、物联网、移动互联网、智能硬件等多个学科的实验教学，提供全面的教育资源。 课程与实验：支持包括Python程序设计、嵌入式Linux操作系统、机器视觉技术、自然语言处理、神经网络原理、无线通信、Android应用技术、物联网中间件、AIOT应用实训等在内的丰富课程和实验。 专业融合：平台在硬件设计上实现了物联网、人工智能和嵌入式技术的兼容性，提升了实训设备的复用率，有效解决了学校实训室空间和资金的限制问题。 AI语音与机器视觉应用系统致力于解决学校在开设人工智能课程时面临的师资、教学资源、实训资源、设备以及与行业应用对接的挑战，实现了产学研创一体化的教育模式 3、应用 系统支持多个工业化的应用场景，以智慧家居、智慧停车场、智慧门禁、智慧交通、趣味AI、智慧工地六大应用场景，及基于六大应用场景的20多种小AI应用场景。所有的应用场景及业务子项功能，均来自真实的人工智能行业应用。 4、配套 该产品除完整的软硬件系统外,还配备针对设备完整的人工智能实训指导书完整丰富的教学实训素材资源、以及基于设备系统的人工智能教学视频光盘。本产品提供免费的安装部署服务和设备实训培训服务。

本发明公开了一种平面摄像机标定方法，具体为：估计变形前 特征点在图像上的位置，并据此计算变形前图像上像素点与其所在剖 分三角形顶点的插值关系；根据该插值关系利用特征点变形后的像素 坐标计算变形前图像每个像素点在变形后图像上对应的位置，并利用 该位置邻近的变形后像素点的像素值插值计算得到其像素值，从而完 成图像校正。本发明利用局部线性内插值代替了本来需要通过高次矩 阵求逆才能完成的多项式拟合；相比于现有方法，本发明在保证不降 低图像校正效果与标定计算精度的前提下，计算复杂度更低、稳定性 更高，同时有着

本发明公开了一种平面摄像机标定方法，具体为：估计变形前特征点在图像上的位置，并据此计算变形前图像上像素点与其所在剖分三角形顶点的插值关系；根据该插值关系利用特征点变形后的像素坐标计算变形前图像每个像素点在变形后图像上对应的位置，并利用该位置邻近的变形后像素点的像素值插值计算得到其像素值，从而完成图像校正。本发明利用局部线性内插值代替了本来需要通过高次矩阵求逆才能完成的多项式拟合；相比于现有方法，本发明在保证不降低图像校正效果与标定计算精度的前提下，计算复杂度更低、稳定性更高，同时有着很高的畸变抗性。