该项目属于自动化技术领域。它为863计划中的型号研制任务“精密装配机器人（JZR）”提供了一套实用的视觉系统，应用该系统与其他传感器配合，使机器人能完成小型机电产品的装配作业，能实现装配过程的插入、拧紧等典型动作。该成果还可以应用在工业、国防、医学等其它相关领域。该系统在硬件体系结构、软件系统、识别方法等研究方面有重要创新，填补了国内空白，其主要技术指标已

基于单颗 NXP 嵌入式芯片，研制一套可集成 4 至 8 路 高清视频输入的高性价比智慧视觉系统。该系统除了实现倒车影像、行车记录、环视全景成像等基本功能外，还将进一步基于深度学习算法，一体化集成车道偏离预警、前车碰撞预警、行人碰撞预警、盲区监测及变道辅助、驾驶行为监测等高级辅助驾驶功能，从而在不增加硬件成本的基础上，为客户提供高性价比的智慧视觉系统，实现各类型车辆的车身环境感知及预警。 

基于智能视频分析，采用5G+人工智能+边缘计算等高新技术，实现对监控区域内的火烟进行智能识别、实时分析报警。不依赖其他传感设备，直接对视频监控区域的画面的烟雾和火焰均可及时准确识别。 它具有自动扫描、自动识别、自动报警、自动定位的功能，通过系统智能识别，发现火情实时向后端监控中心发送报警信号，同时会将火点位置在地图上精确定位，一旦火灾确定，决策人员可以通过视频追踪、资源查询、火情推演、预案管理等功能进行扑救会商并制定详细的灭火作战方案，达到快速消灭火灾的目的。 系统可协助管理人员，对监测区域内火焰做到全天二十四小时实时分析及时报警。降低误报和漏报现象，减少因火灾造成的生命和财产的损失，是人们同火灾做斗争的有力工具。

人工智能技术飞速发展,我国大体上能够与世界先进国家发展同步。我国拥有自主知识产权的文字识别、语音识别、中文信息处理、智能监控、生物特征识别、工业机器人、服务机器人、无人驾驶汽车等很多智能科技成果已进入市场,但是9%以上是软件、算法产品，在人工智能神经网络芯片研发方向上,我国又是落后于美国5-10年左右，可以预见的是,将来我国的人工智能神经网络硬件又将进口大量的IBM、Google、NVIDA、Braodcom等公司的产品,遵循的标准又将按美国的标准,在市场上处于弱势地位。

本发明具体涉及一种扬沙环境的直升机辅助降落视觉系统。该系统由直升机主旋翼、旋翼桨毂、主旋翼减速器、相机保护罩、云台相机、相机升降杆、升降杆固定螺栓、电机、减速器、深沟球轴承、直升机机身构成。该设计通过将云台相机和升降装置安装在主旋翼桨毂内，当需要对地面及周围环境进行监控时，电机减速器带动丝杆旋转，使得升降杆带动云台相机伸出至旋翼上方一定距离处，此时云台相机将监控到更加广阔全面的环境信息。该系统有利于直升机在含有大量沙尘等离散相颗粒的干燥环境中贴地飞行、悬停或降落时，能有效减少沙尘等颗粒带来的不利影响，提升飞行安全性。

1、产品介绍 AI人工智能语音与机器视觉应用系统是一款集成AI语音、机器视觉、深度学习基础、嵌入式Linux于一体的高端教学科研实验平台。 整个教学平台由实验箱高性能嵌入式主板够成，高性能嵌入式核心板采用高性能64位ARM处理器，标配4GB DDR3内存和16GB闪存，可运行ubuntu、android、linuxqt等多种操作系统，可满嵌入式linux和AI应用开发。 平台采用多核高性能 AI 处理器，预装 Ubuntu Linux 操作系统与 OpenCV 计算机视觉库，支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度学习端侧推理框架。 提供多种应用外设与丰富的机器视觉、AI语音、深度学习实战应用案例，如语音前处理（声源定位、语音增强、语音降噪、回声消除、声音提取）、语音活体检查、语音唤醒、语音识别、语音合成、自然语言处理、声纹识别门锁、语音智能家居、手写字识别、人脸识别、目标检测、端侧推理框架、图像识别、人体分析 、文字识别、人脸门禁控制、车牌道闸控制、手势家居控制等，通过案例教学让学生掌握计算机视觉与深度学习的基本原理和典型应用开发。 2、产品特点 （1）先进性 性能卓越：搭载AI嵌入式边缘计算处理器RK3399，配备4GB RAM与16GB存储空间，以及6英寸高清电容触摸屏，确保流畅的用户体验。 高效运算：配NPU协处理器模块，专为神经网络模型设计，提供高达8 TOPs@300mW的运算能力。 接口丰富：提供双路0、四路USB2.0、RS232、RS485以及多种嵌入式拓展接口，满足多样化的外设连接需求。 （2）扩展性 定制化设计：所有硬件单元均采用模块化设计，支持根据具体需求进行定制化选型和搭配。 项目套件丰富：提供多种可选的项目套件模块，支持完成多样化的AI应用场景设计和创新。 智能网关平台：智能边缘计算网关平台配备了包括GPIO、ADC、IIC、UART、PWM、SPI在内的常用接口拓展，增强了平台的适应性和灵活性。 （3）包容性 多功能应用：实验平台适用于人工智能、嵌入式系统、物联网、移动互联网、智能硬件等多个学科的实验教学，提供全面的教育资源。 课程与实验：支持包括Python程序设计、嵌入式Linux操作系统、机器视觉技术、自然语言处理、神经网络原理、无线通信、Android应用技术、物联网中间件、AIOT应用实训等在内的丰富课程和实验。 专业融合：平台在硬件设计上实现了物联网、人工智能和嵌入式技术的兼容性，提升了实训设备的复用率，有效解决了学校实训室空间和资金的限制问题。 AI语音与机器视觉应用系统致力于解决学校在开设人工智能课程时面临的师资、教学资源、实训资源、设备以及与行业应用对接的挑战，实现了产学研创一体化的教育模式 3、应用 系统支持多个工业化的应用场景，以智慧家居、智慧停车场、智慧门禁、智慧交通、趣味AI、智慧工地六大应用场景，及基于六大应用场景的20多种小AI应用场景。所有的应用场景及业务子项功能，均来自真实的人工智能行业应用。 4、配套 该产品除完整的软硬件系统外,还配备针对设备完整的人工智能实训指导书完整丰富的教学实训素材资源、以及基于设备系统的人工智能教学视频光盘。本产品提供免费的安装部署服务和设备实训培训服务。

本项目研究面向成渝地区双城经济圈大数据智能产业需求，尤其是对智能制造、公共安全场景提供高效的视频流在线推理和管理平台，研发了一个通用性的智能中台架构，支持视频流和智能模型模块化管理，支持全程可视化操作交互式界面，支持视觉智能感知模型在线推理快速部署，支持感知与识别结果实时推送、预警和报警。

一、项目简介 由于众多工业企业存在工作环境噪音大、粉尘多、劳动强度大等问题，均不同程度面临着招工难的问题，生产规模很难扩大。同时，由于长时间重复机械工作，容易出现漏检和误检，整体工作效率不高。对于已上线成套设备的企业，其集成度仍较低，自动化程度及性能都亟待提高，很难满足市场的迫切需求。因此，机器换人可有效解决上述问题，而机器视觉是模拟人工操作的关键，综合利用视觉检测、模式识别、优化调度和综合信息管理等技术和方法提高生产自动化水平极为重要。 二、前期研究基础 项目组已与惠州高视科技有限公司签署合作协议“机器视觉定位平台开发与技术服务，2018.3-2019.3，50万元”，并联合厦门大学自动化系与高视科技有限公司建立“视觉定位联合实验室”，与厦门市自动化学会签署合作协议，联合建立“人工智能-机器视觉联合实验室”。研究了视觉对位平台如何实现两个目标物之间的精确对准。视觉系统需要对两个目标物分别进行拍摄，选择Mark点或者目标物的边或角的特征信息。利用视觉对位技术，实现两个目标物物理坐标之间的在X、Y轴和角度坐标的偏差，通过驱动相关运动平台，引导平台运动到贴合位置，实现视觉引导精确对位。 三、应用技术成果 开发了鞋模喷胶系统，采用传送带传送鞋模，利用工业相机采集图像，经图像处理算法检测鞋模边缘，再将处理过的边缘坐标数据传送给控制器，控制器控制喷胶器对鞋模进行喷胶。 开发了自动贴盖机系统，基于传送带传送产品，利用工业相机采集传送带上的产品图像，再通过图像处理算法定位到模板图像在采集图像中的准确位置，从而通过坐标转换将图像中的坐标转换到世界坐标，然后将数据通过串口通信传送给控制系统，控制系统会控制机械手在定位到的位置坐标贴上产品标签或者封盖。 四、合作企业 惠州高视科技有限公司是一家专业从事机器视觉应用领域设备、计算机图像处理系统解决方案研发的高科技现代化企业。公司的机器视觉产品广泛应用于液晶、电子、新能源、金属加工等行业公司秉承以人为本、合作共赢的管理理念，以技术开发为中心，以客户需求为导向，致力于成为在机器视觉检测、测量、图像识别领域杰出的系统解决方案及设备供应商。拥有11项软件著作权和5项实用新型专利。

一、产品概述       本设备以工业机器人与机器视觉为核心，将机械、气动、运动控制、变频调速、编码器技术、PLC控制技术有机地进行整合，结构模块化，便于组合，实现对高速传输线上的不同物料进行快速的检测、组装。为了方便实训教学，系统进行了专门的设计，可以完成各类机器人单项训练和综合性项目训练，可完成各类机器人单项训练和综合性项目训练。可以进行六轴机器人示教、定位、抓取、装配等训练，        包含六自由度工业机器人、智能视觉检测系统、PLC控制系统及一套供料、输送、装配、仓储机构，可以实现对高速传输的工件进行分拣、检测、搬运、装配、存储等操作。该平台各组件均安装在型材桌面上，机械结构、电气控制回路、执行机构相对独立，采用工业标准件设计。通过此平台可以进行机械组装、电气线路设计与接线、PLC编程与调试、智能视觉流程编辑、工业机器人编程与调试应用等多方面训练，适合职业院校、技工学校自动化类相关专业《工业机器人与控制技术》、《自动化技术》等课程的实训教学，适合自动化技术人员进行工程训练及技能比赛。二、技术性能1、输入电源：单相三线～220V±10% 50Hz2、工作环境：温度-10℃～+40℃  相对湿度≤85%（25℃）  海拔＜4000m3、装置容量：＜1.5kVA4、实训平台尺寸：2200mm×1200mm×1500mm5、安全保护：具有漏电保护，安全符合国家标准三、设备结构与组成      该实训平台由ABB IRB120-3型六自由度工业机器人系统、海康智能视觉检测系统、可编程控制器（PLC）系统、四工位供料单元、环形输送单元、工件存储盒供料单元、工件组装单元、仓库单元、废品回收桶、各类工件、型材实训桌、型材电脑桌等组成。 1、工业机器人本体： ABB IBR120/3六自由度工业机器人本体；最大负载≥3 kg； 最大臂展半径≥580mm； 轴数：≥6轴；位置重复精度：≦0.01mm； 防护等级： ≥IP30； 轴运动范围： （1）1轴：≥±165°  （2）2轴：≥±110° （3）3轴：≥+70°至 -110° （4）4轴：≥±160° （5）5轴：≥±120° （6）6轴：≥±400° 机器人本体重量：≤25kg； 最大噪音：≤70dB(A)。 2、工业机器人控制器： （1）紧凑型工业机器人控制柜，与配套的工业机器人本体配套； （2）控制硬件：多处理器系统大容量闪存、 UPS 备份电源（≥20S）； （3）控制软件：软件出厂预装； （4）额定功率：≥3KVA(变压器容量)； （5）电源输入：200V/230V 50-60Hz （6）尺寸：710*449*442mm （7）重量：30kg （8）防护等级：IP20 3.FlexPendant示教器 （1）重量：1kg （2）支持：彩色触摸屏、操纵杆，紧急停、支持惯用左/右手切换，支持U盘、热插拔、恢复程序，支持USB储存器，带时间标记登录，支持远程服务。 4、海康智能视觉检测系统   主要是配合工业机器人做智能检测工件角度缺陷及自动对位等以及工业机器人视觉学习开发使用；工业相机，要求如下：像素：≥130W像素； 分辨率：≥1280×960； 像素尺寸：≥3.75μm× 3.75μm； 光谱：彩色； 支持自定义AOI，降低分辨率、f≥16mm F1.4：12毫米工业镜头，百万像素相机； 配套同轴光源，光源大小≥80mm×80mm；准环形光源，直径≥70mm，照射角度≥90度，带模拟控制器；配套同轴光源及光源控制器：发光窗口≥50mm*50mm含调光控制电源；机器视觉兼视觉开发环境。5、西门子可编程控制器单元     配备西门子S7-1200可编程控制器，自带以太网通讯模块、数字量扩展模块控制机器人、电机、气缸等执行机构动作，处理各单元检测信号，管理工作流程、数据传输等任务。   6、四工位供料单元     由移动井式料库、推料气缸、无杆气缸和光电传感器组成，安装在型材实训桌上，用于将工件库中的工件依次推出到环形输送线。提供不同颜色的标准工件，杂色叠加等不合格工件。多工位的供料设计，使得供料方式多样化，可以进行单一的上料，也可以进行不同颜色的组合上料，以及对上料速 度进行控制，实现上料形式的多样化。7、环形柔性输送单元      包含一套交流调速系统，由三菱D720变频器、三相交流电机、环形板链（传送带）、光纤传感器等组成，安装在型材实训桌上，用于传输工件。8、工件存储盒供料单元      包含一套步进电机推杆、DM556步进驱动、料盒存储槽等组成，安装在型材实训桌上，当一个工件存储盒被取走会自动退出下一个工件存储盒，用于工件存储盒自动供料。9、工件组装单元      由工件存储盒托盘及型材立柱组成，安装在型材实训桌上，用于装配工件。工件盒内设有4个工件槽用于放置工件，机器人可以根据不同配方按照上位机设定颜色进行放置工件。10、仓库单元      由工件存储盒托盘及型材立柱组成，安装在型材实训桌上，机器人用于放置装配完的组件进行堆垛，也可以通过机器人对装配完成的组件进行拆垛。11、废品回收桶      安装在型材实训桌左后侧，用于机器人自动放置被检测出来的无用工件或不合格品。 四、实训项目1. 机器视觉系统的原理、使用和调试2. 六轴工业机器人系统的原理、使用和调试3. 六轴工业机器人坐标系统和机器视觉坐标系统标定及相互转换4. 工业机器人与机器视觉系统综合应用的安装与调试5. 机器视觉系统模板设置、编程与调试6. 通过示教单元手动调试工业机器人7. 通过示教单元设置、修改各控制点坐标8. 通过示教单元编写、修改工业机器人程序9. 机器人追踪坐标整定10. 工业机器人系统的软件二次开发编程  11.智能视觉图像输入编辑与调试12.智能视觉结果给出编辑与调试13.智能视觉颜色比对测量14.智能视觉编号比对测量15.智能视觉尺寸比对测量16.智能视觉角度测量17.智能视觉系统与工业机器人综合应用18.PLC程序编程与调试19.智能视觉系统与工业机器人综合应用