1、产品介绍 AI人工智能语音与机器视觉应用系统是一款集成AI语音、机器视觉、深度学习基础、嵌入式Linux于一体的高端教学科研实验平台。 整个教学平台由实验箱高性能嵌入式主板够成，高性能嵌入式核心板采用高性能64位ARM处理器，标配4GB DDR3内存和16GB闪存，可运行ubuntu、android、linuxqt等多种操作系统，可满嵌入式linux和AI应用开发。 平台采用多核高性能 AI 处理器，预装 Ubuntu Linux 操作系统与 OpenCV 计算机视觉库，支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度学习端侧推理框架。 提供多种应用外设与丰富的机器视觉、AI语音、深度学习实战应用案例，如语音前处理（声源定位、语音增强、语音降噪、回声消除、声音提取）、语音活体检查、语音唤醒、语音识别、语音合成、自然语言处理、声纹识别门锁、语音智能家居、手写字识别、人脸识别、目标检测、端侧推理框架、图像识别、人体分析 、文字识别、人脸门禁控制、车牌道闸控制、手势家居控制等，通过案例教学让学生掌握计算机视觉与深度学习的基本原理和典型应用开发。 2、产品特点 （1）先进性 性能卓越：搭载AI嵌入式边缘计算处理器RK3399，配备4GB RAM与16GB存储空间，以及6英寸高清电容触摸屏，确保流畅的用户体验。 高效运算：配NPU协处理器模块，专为神经网络模型设计，提供高达8 TOPs@300mW的运算能力。 接口丰富：提供双路0、四路USB2.0、RS232、RS485以及多种嵌入式拓展接口，满足多样化的外设连接需求。 （2）扩展性 定制化设计：所有硬件单元均采用模块化设计，支持根据具体需求进行定制化选型和搭配。 项目套件丰富：提供多种可选的项目套件模块，支持完成多样化的AI应用场景设计和创新。 智能网关平台：智能边缘计算网关平台配备了包括GPIO、ADC、IIC、UART、PWM、SPI在内的常用接口拓展，增强了平台的适应性和灵活性。 （3）包容性 多功能应用：实验平台适用于人工智能、嵌入式系统、物联网、移动互联网、智能硬件等多个学科的实验教学，提供全面的教育资源。 课程与实验：支持包括Python程序设计、嵌入式Linux操作系统、机器视觉技术、自然语言处理、神经网络原理、无线通信、Android应用技术、物联网中间件、AIOT应用实训等在内的丰富课程和实验。 专业融合：平台在硬件设计上实现了物联网、人工智能和嵌入式技术的兼容性，提升了实训设备的复用率，有效解决了学校实训室空间和资金的限制问题。 AI语音与机器视觉应用系统致力于解决学校在开设人工智能课程时面临的师资、教学资源、实训资源、设备以及与行业应用对接的挑战，实现了产学研创一体化的教育模式 3、应用 系统支持多个工业化的应用场景，以智慧家居、智慧停车场、智慧门禁、智慧交通、趣味AI、智慧工地六大应用场景，及基于六大应用场景的20多种小AI应用场景。所有的应用场景及业务子项功能，均来自真实的人工智能行业应用。 4、配套 该产品除完整的软硬件系统外,还配备针对设备完整的人工智能实训指导书完整丰富的教学实训素材资源、以及基于设备系统的人工智能教学视频光盘。本产品提供免费的安装部署服务和设备实训培训服务。

一、产品概述 1、本设备以工业机器人与机器视觉为核心，将机械、气动、运动控制、变频调速、PLC控制技术有机地进行整合，结构模块化，便于组合，实现对不同物料进行快速的检测、组装。为了方便实训教学，系统进行了专门的设计，可以完成各类机器人单项训练和综合性项目训练，可完成各类机器人单项训练和综合性项目训练。可以进行六轴机器人示教、定位、抓取、装配、入库等训练， 2、包含六自由度工业机器人、智能视觉检测系统、PLC控制系统及一套供料、输送、装配、仓储机构，可以实现对工件分拣、检测、搬运、装配、存储等操作。 3、该平台各组件均安装在型材桌面上，机械结构、电气控制回路、执行机构相对独立，采用工业标准件设计。通过此平台可以进行机械组装、电气线路设计与接线、PLC编程与调试、智能视觉流程编辑、工业机器人编程与调试应用等多方面训练，适合职业院校、技工学校自动化类相关专业《工业机器人与控制技术》、《自动化技术》等课程的实训教学，适合自动化技术人员进行工程训练及技能比赛。 二、技术性能 输入电源：单相～220V±10% 50Hz 工作环境：温度-10℃～+40℃  相对湿度≤85%（25℃）  海拔＜4000m 装置容量：＜1.5kVA 实训平台尺寸：1500mm×880mm×1400mm 安全保护：具有漏电保护，安全符合国家标准 三、设备结构与组成       该实训平台由ABB IRB910SC型四轴工业机器人系统、欧姆龙智能视觉检测系统、可编程控制器（PLC）系统、供料单元、输送单元、供料废料暂存单元、加工废料暂存单元、工件组装单元、仓库单元、各类工件、型材实训桌、型材电脑桌等组成。    1、ABB IRB910SC型四轴工业机器人系统     由机器人本体、机器人控制器、示教单元、输入输出信号转换器和抓取机构组成，装备气动手爪、可对工件进行搬运、装配、拆解等操作。 （1）机器人本体由四自由度关节组成，固定在型材实训桌上，具有4个自由度。 （2）最大的工作半径为450mm （3）最大负载6kg （4）机器人示教单元有液晶显示屏、使能按钮、急停按钮、操作键盘，用于参数设置、手动示教、位置编辑、程序编辑等操作。 2、欧姆龙智能视觉检测系统       配备一套欧姆龙FZ-350智能视觉系统，由视觉控制器、白色光源、视觉相机及监视显示器等组成。用于检测工件的特性，如数字、颜色、形状等，还可以对装配效果进行实时检测操作。通过I/O电缆连接到PLC或机器人控制器，也支持串行总线和以太网总线连接到PLC或机器人控制器，对检测结果和检测数据进行传输。 3、西门子可编程控制器单元       配备西门子S7-1200 CPU1214C AC/DC/RLY可编程控制器，自带以太网通讯模块、数字量扩展模块控制机器人、电机、气缸等执行机构动作，处理各单元检测信号，管理工作流程、数据传输等任务。     4、RFID数据传输系统     采用西门子RFID数据传输系统，安装在环线输送单元的左端圆弧处，电子标签已埋在工件内部，检测距离为40mm。当工件从环线输送单元经过左端圆弧处时，RFID检测系统可以准确地读取工件内的标签信息，如编号、颜色、高度等信息，该信息通过工业现场数据总线传输给PLC，用来实现工件的分拣操作。 5、供料单元  由料斗、回转台、导料机构、工件滑道、开关电源、可编程序控制器、按钮、I/O接口板、通讯接口板、电气网孔板、直流减速电机组成，主要完成将工件从回传上料台依次送到检测工位。 6、输送单元       包含一套交流调速系统，由三菱D720变频器、三相交流电机、传送带、光纤传感器等组成，安装在型材实训桌上，用于传输工件。 7、工件组装单元 由工件光纤传感器、加工台、气缸、小物料等组成，安装在传送带上，用于装配工件。 8、仓库单元 由铝型材和机玻璃组成3×3库体组成 9、废品暂存仓 安装在型材实训桌上，分别对供料异常物料暂存，对加工异常物料暂存。 10、触摸屏 7寸，是一套以先进的Cortex-A8 CPU为核心（主频600MHz）的高性能嵌入式一体化触摸屏。 四、实训项目 1.机器视觉系统的原理、使用和调试 2.六轴工业机器人系统的原理、使用和调试 3.六轴工业机器人坐标系统和机器视觉坐标系统标定及相互转换 4.工业机器人与机器视觉系统综合应用的安装与调试 5.机器视觉系统模板设置、编程与调试 6.通过示教单元手动调试工业机器人 7.通过示教单元设置、修改各控制点坐标 8.通过示教单元编写、修改工业机器人程序 9.机器人追踪坐标整定 10.工业机器人系统的软件二次开发编程 11.智能视觉图像输入编辑与调试 12.智能视觉结果给出编辑与调试 13.智能视觉颜色比对测量 14.智能视觉编号比对测量 15.智能视觉尺寸比对测量 16.智能视觉角度测量 17.智能视觉系统与工业机器人综合应用 18.PLC程序编程与调试 19.智能视觉系统与工业机器人综合应用 20.变频器与交流电机主电路的连接 21.变频器面板的参数设置与操作 22.变频器面板控制交流电机调速 23.通过变频器外部端子控制电机启停 24.气动方向控制回路的安装 25.气动速度控制回路的安装 26.气动顺序控制回路的安装 27.气动系统气路的连接 28.磁性开关的位置调整 29.气动系统调试 30.RFID数据读写编程与调试

成果描述：四川大学制造科学与工程学院CAD/CAM研究所在工业机器人本体开发、工业机器人空间定位精度标定、机器人视觉伺服控制、空间运动轨迹规划、机器人编程、机器人动态特性分析等方向均进行了较深入的研究，并取得一定研究成果。在工业机器人及机器人视觉等领域发表相关科技论文10余篇，申报相关发明专利2项，承担完成相关国家、省市及企业科研课题5项。市场前景分析：本课题组长期致力于开展机器人视觉系统的研究，并取得一系列研究成果。与普什宁江机床厂合作开发了基于人工视觉的装配机器人，用于某柔性装配生产线上。与同类成果相比的优势分析：与成都广泰有限实业公司合作开发了15、30、50公斤的六关节机器人。针对某企业磁瓦自动生产线自主开发了基于视觉系统的磁瓦搬运机器人。参与了四川成焊宝玛焊接装备工程有限公司承担的国家科技支撑计划项目（2012BAF06B02） “汽车车身多车型柔性装焊制造系统”，负责项目中多机器人协同工作程序仿真系统研发。

本产品属于嵌入式实时系统应用及机器人机电控制领域，高效、敏捷、可靠地构建适应各行业需求的控制系统体系，减少（甚至避免）重复开发，增强系统中各部件的可重用性；控制软件的分层体系，可以降低机电系统的设计难度，同时也要满足系统对实时性的要求。工业机器人控制系统对可靠性、实时性、抗干扰能力要求高，而且必须适合工业现场使用。因此，针对机器人控制器在工业机器人方面的特殊要求，一个基于µC/OS-Ⅱ内核的强实时系统，可以在单一处理器上实现大量的插补运算和译码任务，并且嵌入式的控制器可实现实时高性能的工业机器人运动规划与控制。可用于搬运、焊接、上下料、喷涂等典型机器人产品的集成开发，满足产业化对系统性价比的要求。

针对冲压和精锻等冷加工生产线对自动输送和操作工件的需求，研制一种低成本3自由度的小型工业机器人，以弥补关节型6/4自由度工业机器人的不足。本小型柱坐标工业机器人是针对一种形状不规则粉末冶金工件的整形工艺流程而研制的产品，适合安装在冲床的工作台上，配置电磁吸盘式抓取装置完成对工件的抓取和精确放置等工艺过程。 小型柱坐标工业机器人能实现回转运动、高低直线运动和水平直线运动，完全满足冲压和精锻等冷加工工艺过程的送料和操作，实现了小型化和低成本的设计目标。小型柱坐标工业机器人总体结构设计以实

基于CPS RTnet更新物理世界在信息世界的信息，通过MOM实现物理层的制造运营管理，能够完整真实再现工业机器人应用系统。

八轴智能视觉焊接机器人是一种八自由度专用机器人，中六轴属于焊接机器人，另外二轴 属于焊接变位机，使得系统能够实现焊接机器人与变位机协调运动，其针对体系结构、机械结 构、示教再现理论、轨迹规划和优化方法、轨迹跟踪控制策略等机器人关键共性理论和技术展 开研究，采用运动控制卡的方式来实现对机器人空间位置与速度的控制。焊接变位机同焊接机 器人配合，扩展了焊接机器人的工作空间，提高了焊接生产效率和焊接质量。 本系统采用接触式焊缝跟踪与摄像机焊缝跟踪系统相结合，焊前对焊缝进行数据及图像 采集，通过计算机软件对焊缝数据及图像进行处理，生成虚拟焊缝。由虚拟焊缝识别系统控制 执行机构在焊接时进行焊缝跟踪，提高焊缝质量。八轴智能视觉焊接机器人主要应用于汽车及 其零部件行业和工程机械行业。机器人编程采用示教再现方式，可以通过示教盒直接编程也可 以进行离线编程，实现点位和连续轨迹匀速控制；在焊枪部分安装人体红外感应开关，保证工 作人员安全问题；将视觉传感器作为测量工具来测量机器人末端或是目标的位置，利用视觉信 息来控制机器人末端执行器相对目标或是目标特征的相对位置和姿态，从而减少抓取错误及失 误。

路面病害分为表面破损（如裂缝）、路面变形（如沉降）和结构病害（如层间脱空）三大类。该技术以路面检测成果为全卷积神经网络的输入信号，对于表面破损，其输入为多功能检测车拍摄的路表图像；对于路面变形，输入为三维检测车测取的三维路面模型；对于结构病害，输入为探地雷达信号图像。通过海量数据的训练、测试，可实现上述三类病害的自动化识别、分类和测量，为路面养护工程提供数据支撑。此外，该技术在保证与人工识别结果相同的精度下，可将数据处理速度提高千倍以上。 

本发明公开了一种基于机器视觉技术的马铃薯分级控制方法及装置。在图像检测时，根据导向拨杆的数目将摄像机视场划分成相对应个数的虚拟通道；用逻辑值来表示每个虚拟通道上是否存在待分级马铃薯；控制处理单元根据检测得到的逻辑值来控制导向拨杆是否动作，当逻辑值为1时，其所对应的导向机构才由气缸向上推出，马铃薯与导向拨杆接触而改变运行轨迹，分离到对应的出料斜槽中；马铃薯由摄像机采集图像后，由图像检测结果，以马铃薯横径为直径画一个虚拟圆，根据虚拟圆所占据的虚拟通道来确定采用一个或多个导向拨杆来分离马铃薯。本发明可用于杂质、不同品质马铃薯的快速检测，同时可减少马铃薯的损伤，准确地实现马铃薯的分选。