团队研发了手术视觉当行定位系统，采用多相机系统对带有视觉标签的手术器具进行实时定位和目标跟踪，视觉标签采用非对称分布的红外反射球，支持有源和无源两种视觉标签。其中高速高分辨率红外摄像机采用内置850nm红外光源阵列，120万像素红外CD，配合宽焦距范围镜头，视场角度可达90°以上。为减小系统延时，提高手术医生的体验感，研究基于FPGA的视觉数据并行计算定位算法，在相机本地通过FPGA快速计算得到单视角的定位数据，配合高速以太网标准的数据传输总线，能够达到20帧以上的满分辨率传输。中央控制器实时集多个相机的目标定位数据，进行信息融合计算，得到手术器具的高精度实时6自由度位姿。

团队研发了手术视觉当行定位系统，采用多相机系统对带有视觉标签的手术 器具进行实时定位和目标跟踪，视觉标签采用非对称分布的红外反射球，支持有 源和无源两种视觉标签。其中高速高分辨率红外摄像机采用内置 850nm 红外光源 阵列，120 万像素红外 CCD，配合宽焦距范围镜头，视场角度可达 90°以上。为 减小系统延时，提高手术医生的体验感，研究基于 FPGA 的视觉数据并行计算定 位算法，在相机本地通过 FPGA 快速计算得到单视角的定位数据，配合高速以太 网标准的数据传输总线，能够达到 200 帧以

一、项目简介 自动导航运输车（Automated Guided Vehicle，AGV）是装有自动导航装置，能够沿规定的路径行驶，在车体上具有编程和停车选择装置、安全保护装置以及各种物料移载功能的搬运车辆。广泛应用于汽车制造、电子、纺织、食品、烟草、物流仓储等行业和领域。 2016年中国AGV市场销售量7350台，市场规模达12.08亿元，同比增长37.7%。2017年中国市场AGV销量有望突破10200台，同比增速超38%。特别是新一代完全柔性的AGV机器人将在各种场景下得到应用，新的AGV增量市场正在酝酿过程中。 当前AGV主要导航方式为有轨导航（固定路径）和无轨导航（柔性路径）。传统有轨导航AGV主要采用有轨导航方式，虽然简单易行、路径跟踪可靠性好，但灵活性和柔性差；新的激光导航方式，在应用时具有更高的柔性，但目前大多数是采用反射板和三角定位原理进行，其灵活性和柔性受到限制。 无轨导航AGV不需要任何场地施工、具备自由路径导航和智能避让能力的AGV，越来越受到行业的重视，是重要发展趋势和研究热点。这种无轨的自主导航系统（自由路径规划和决策）具有更高的引导柔性，能够更高效、灵活地完成物料的搬运任务。随着车间物流和生产流程日益复杂多变，对柔性供送、自主规划决策的新一代AGV需求迫切。 本项目致力于开发面向柔性物料搬运、内部物流的AGV机器人平台，具有效率高，易于操作、使用灵活且安全等特点。项目研究的这种AGV是第三代柔性移动机器人，综合了激光、视觉、惯性定位和自主规划决策技术，是未来的移动解决方案。(智能化工具化)，适应于巡检和商城、宾馆、医院等场所的内部配送。 项目研究全新一代AGV属于自主导航机器人，具备全柔性：无轨导航，不需要场地布设，全软件化，应用更广（内部物流、人机协作等）。具备自主性：自动路径规划、自动避障、自动跟踪、相互协作、自动充电等智能决策。项目研究具有重要的现实意义和市场前景。 二、前期研究基础 研究团队已经开工研究面向柔性物料搬运和物流配送的新一代AGV机器人，服务于需混合导航与自由路径功能的新兴AGV市场，目前研发的这种AGV是第三代高级移动机器人，综合了激光、视觉、惯性导航和自主规划决策与人机交互技术，是未来的移动解决方案(智能化工具化)。累计完成投资150万元，已和厦门万久公司开展省高校产学项合作目(基于视觉与惯性定位的AGV装置研发)，设计完成了AGV机器人样机，正进行驱动系统、导航系统、控制系统可靠性与性能指标的测试。 当前正在的研究工作和目标是，进一步完善AGV基本机型设计，实现激光SLAM、里程/IMU惯性定位、自主路径规划与跟踪；对AGV的RGB-D视觉系统进行开发设计，实现视觉引导与目标识别、跟踪、避让；进行终端控制软件开发，形成产品应用解决方案。 已发表的与项目相关的主要论文SCI论文5篇，EI论文20余篇。主要发明专利有：1. 仲训昱, 田军, 庞聪, 彭侠夫, 曾建平. 基于前倾 2D 激光雷达移动扫描的路面与障碍检测方法. 国家发明专利（受理中）2. 仲训昱. 基于虚拟扫描与测距匹配的 AGV 激光 SLAM 方法. 国家发明专利（申请号：201710504910.7, 受理中）. 3. 仲训昱, 李跃亮, 彭侠夫. 面向智能车自主充电的柔性对接装置. 国家发明专利（申请号： 201710389598.1, 受理中）4. 仲训昱, 王祥, 陈映冰, 彭侠夫. 基于 A*提取引导点的 AGV 路径跟踪与避障协调方法.国家发明专利（申请号： 201710043581.0, 受理中）5. 仲训昱, 李跃亮, 刘嘉伟, 彭侠夫. 一种面向智能车自主充电的柔性对接装 置. 国家实用新型专利, 专利号： 201720606992.1 三、应用技术成果 （一）导航控制系统设计 研究团队开发了一种全柔性自主式AGV机器人, 其导航控制系统如下图所示，特点有： 1）采用这种模块化的系统平台, 搭建激光导航AGV产品, 可实现降低制作成本30%-50%;  2）结合视觉/惯性定位和特殊运动机构, 支持各种场景下的使用、简易且节省人工成本。 （二）地图表示和基于A*提取关键路径点的全局路径规划方法 以AGV半径障碍进行膨胀，建立初始栅格地图；通过风险评估函数对障碍周围节点的风险等级进行评估，获得带有风险区域的安全栅格地图。在安全地图上通过A*算法规划全局路径，在得到的全局路径上提取关键路径点。 （三）基于位-姿交替控制的路径跟踪与避让/运动协调方法研究了局部环境建模与自适应窗口的实时避障方法，同时还研究了基于复合速度障碍法的分布式运动规划算法，在各种移动服务机器人与AGV搬运机器人 相互协调避让的运动规划中等具有很好的应用前景。 机器人以关键路径点为引导点并不断实时切换、更新引导点，进行路径跟踪与障碍避让的协调统一。 （四）基于地图匹配的AGV激光SLAM方法 虚拟扫描与测距匹配法：增量式创建栅格地图，采用虚拟激光雷达扫描与基于测距的快速轮廓匹配。 LATTICE SLAM方法：综合采用了高斯牛顿迭代法、地图匹配表、概率地图和高低两层地图等策略。 （五）AGV系统特色设计 1)双层控制器系统结构，提高可靠性、实时性和灵活性。 2)基于ROS的软件设计，采用NVIDIA 的TK1超级计算平台作为主控计算机。 3)下位机功能模块设计：处理实时性较高的任务，如里程计／IMU推算定位、安全速4)度控制、超声波／防撞条避碰处理等。 5)运动机构及外观设计：两轮差动驱动＋两轮随动”的四轮运动机构，比六轮机构具有更好的地面适应性；采用橡胶轮，减震和静音效果好。 6)自动充电对接装置设计：通过柔性连杆的弯曲形变来实现充电接口和充电接头的柔顺对接。 四、合作企业 厦门万久科技股份有限公司是一家集销售、软件研发、技术服务、加工技术整合为一体的高新技术企业。目前公司的经营范围涉及CNC软件开发及数控系统销售、CNC控制零件销售及专业维修；工艺优化、机台升级与技术改造、工程配电与软件优化、专用机控制系统开发、多轴机的设计与开发、机台精度检测与校正优化服务等。公司是国际知名生产制造企业——富士康的产品供应商和技术服务商。  

项目背景：目前电力机器人在作业过程中，由于环境恶 劣，电磁刚绕强度高，造成控制系统不稳定；同时在巡检过 程中，要对各种线路金具、各种作业仪表进行识别与检测， 通常采用机器视觉技术。但由于机器人作业在野外或阴暗照 明等复杂环境，存在识别率低，不稳定等问题。本项研究针 对特殊应用环境，拟开发一套基于机器视觉的巡检机器人控 制系统。 所需技术需求简要描述：1.基于多传感器信息融合的机 器人越障系统：主要包含视觉、激光雷达、超声、红外等传 感器信息，能够实现对巡检路径上障碍物的实时识别与定 位；2.巡检机器人远程监控平台：用于对巡检机器人采集到 的信息进行远程传输和监控，包含巡检路径上的实时视频传 输、机器人运行状态信息显示、巡检故障诊断与显示等；3. 小样本深度学习算法：针对极端环境下数据采集困难，数量 少等问题，研究基于小样本学习的深度学习算法，提高极端 环境下的障碍物识别精度；4.图像增强算法：针对高空强光、 阴暗、潮湿等极端环境所带来的图像识别困难问题，研究相 应的图像增强算法，提高识别精度。主要技术指标：1.开发 设计一种适合高压线路金具视觉检测与识别技术，对输电线 路各种金具进行动态识别与检测，解决野外环境下识别率低 的问题，形成一套完整的线路金具机器视觉识别与检测方 法。2.开发设计一种适合地下阴暗、潮湿、多尘环境下视觉检测与识别技术，形成一套完整的机器视觉识别与检测方 法。包括线路金具的识别模型和线路金具的定位方法与双目 测距技术。  对技术提供方的要求:拟与高校联合开发，要求团队具 有类似经验，具备电力机器人研究经历，具有电力线路识别 研究基础，最好有研发案例。 

随着社会经济的发展，医院、车站、机场等大型场所的规模和数量不断扩大，其保安巡逻 自动化需求将日趋迫切。目前依赖于人力巡逻或CCD定位监控已不能满足夜间保安的要求， 采用保安巡逻机器人实行定时、定点监控巡逻与不间断流动巡逻结合将是目前最佳的解决方 案。 为了实现保安巡逻的各项功能，使系统在总体性能上满足实时性、可靠性和方便性的要 求。远程操作计算机远离移动机器人的工作现场，操作者通过这台计算机实现对机器人的远程 操作控制，其实现的功能有：网络通信、视频的解压缩和显示、非视觉传感器信息的可视化显 示、移动机器人工作状态的显示和接收操作者通过控制设备对移动机器人下达的控制命令。 移动机器人平台由移动机器人信息处理及操作系统、道路识别系统、视频采集系统、非视 觉传感器信息采集系统和伺服驱动系统组成，其中移动机器人上位机系统实现的功能有：网络 通信、视频信息压缩、视频信息识别、非视觉传感器信息的处理、移动机器人的运动规划和运 动控制。本项目创新点如下： (1) 基于区域矢量化道路识别 对车道线进行区域矢量化，并对获取的车道线进行数学分析及建模，用以后续的自动导航 控制。 (2) 基于多信息融合的自动导航 本巡逻机器人自动导航系统采用多信息融合，结合视觉信息和GPS定位。视觉信息用来识 别车道线进行导航，而GPS可以提供必要的导航信息，对视觉信息的不足进行补充。 (3) 巡逻机器人组网及远程控制 巡逻机器人控制系统接入无线网络，可以通过控制端PC对机器人发送指令，使其按所发 送的指令自动到达指定站点。机器人之间应该也能够互相通信，这样才能够及时的避免冲撞以 及交换信息。

小试阶段/n该研究成果提出了面向编队飞行任务的脉冲星/星光多普勒组合导航方法，涉及一种基于星光多普勒频移的相对导航方法。将其分别与X射线脉冲星绝对导航和相对导航结合，可实现转移段和环火段的高精度自主导航。面向转移段末期，提出了太阳光谱不稳定下的脉冲星/多普勒差分组合导航方法。该方法测量了相对于太阳和火星的多普勒速度信息，并将二者的差分信息被用作导航测量，消除了太阳光谱不稳定性对多普勒速度测量的影响。该成果的定速精度能达到1cm/s量级。。该成果可为深空探测器提供实时高精度的自主导航定位定速信息，在深

海格通信是建国以来最早从事导航设备开发、生产的厂家之一，五十多年来一直致力于我国导航定位事业，积累了丰富的导航定位产品研制经验。从上世纪60年代开始，先后研制了“长河三号”、奥米伽、“长河二号”、子午仪、GPS、GLONASS、北斗一号、北斗二号等多个系统、多种型号的导航产品。近年来，海格通信抓住北斗系统的发展机遇，大力开展关键技术攻关和产品研制工作，产品覆盖卫星导航芯片、天线模块、整机、应用系统等，已形成了“芯片—模块－终端－系统”的全产业链布局，产品已批量应用于车辆、船舶、航空等领域。 海格通信的北斗导航产业发展得到了政府的大力扶持，近年一直担任中国北斗产业应用协会副会长单位，广东省北斗卫星导航产业联盟主席单位，广东省北斗卫星导航产业（广州）基地也落户海格通信。

北斗卫星导航系统由空间段、地面段和用户段三部分组成，可在全球范围内全天候、全天时为各类用户提供高精度、高可靠定位、导航、授时服务，并具短报文通信能力。 北斗卫星导航系统的建设与发展，以应用推广和产业发展为根本目标，不仅要建成系统，更要用好系统，强调质量、安全、应用、效益。北斗卫星导航系统的建设、发展和应用将对全世界开放，为全球用户提供高质量的免费服务，积极推动卫星导航技术与产业的发展。北斗卫星导航系统可独立为全球用户提供服务。

Ai视觉检测机器人是一款搭载了六轴工业机械臂、视觉人工智能和工业大模型的高科技设备，充分利用机械臂的多轴灵活运动、重复定位精度高等优势，主要用于复杂外形工业产品的缺陷检测，特别是汽车零配件、新能源、核电领域等高端制造、品控要求高的产品外观检测。