控软体机器人是智能仿生机器人研究领域的热点方向。然而，如何实现软体机器人运动方向的便捷调控，是该领域目前急需解决的一个关键科学性问题。传统的光刺激调控法，需要将光束集中在软体机器人的某个局部区域，或者沿某个角度或方向去照射软体机器人，使之产生局部的形变差异，进而推动软体机器人沿某个方向前进。例如，在文献中经常看到的场景是，将光束照射在软体机器人的头部，使其后退；照射在尾部，使其前进；从左向右扫描软体机器人，使其右拐；从右向左扫，使其左转。此类光刺激调控法缺乏便捷性，非常不方便。东大科研团队另辟蹊径，构建了多层次结构的液晶弹性体基软体机器人，在不同的结构层次中加入三种分别对520nm、808nm、980nm波段光源响应、且互不干扰的有机光热转换试剂，从而利用可见和红外三个波段光的开/关变化去操控软体机器人的运动方向。和传统的光刺激调控法相比，该方法是通过软体机器人不同区域对光刺激的选择性吸收，来实现整体的形变差异，进而推动软体机器人运动，因此光源的照射位置、方向、角度等因素都不会对运动方向产生根本性影响。该策略为实现软体机器人运动方向的便捷调控提供了新思路。

本发明公开了一种基于机器视觉技术的马铃薯分级控制方法及装置。在图像检测时，根据导向拨杆的数目将摄像机视场划分成相对应个数的虚拟通道；用逻辑值来表示每个虚拟通道上是否存在待分级马铃薯；控制处理单元根据检测得到的逻辑值来控制导向拨杆是否动作，当逻辑值为1时，其所对应的导向机构才由气缸向上推出，马铃薯与导向拨杆接触而改变运行轨迹，分离到对应的出料斜槽中；马铃薯由摄像机采集图像后，由图像检测结果，以马铃薯横径为直径画一个虚拟圆，根据虚拟圆所占据的虚拟通道来确定采用一个或多个导向拨杆来分离马铃薯。本发明可用于杂质、不同品质马铃薯的快速检测，同时可减少马铃薯的损伤，准确地实现马铃薯的分选。

目概况    目前，国内外大量应用弧焊机器人系统从整体上看基本都属第一代或准二代焊接机器人系统。由于焊接路径和焊接参数是根据实际作业条件预先设置的，在焊接时缺少外部信息传感和实时调整控制功能，这类弧焊机器人一般不能应对焊接作业条件严格的稳定性要求，焊接时缺乏“柔性”，表现出明显的缺点。在实际弧焊过程中，焊接条件是经常变化的，如加工和装配等误差会造成焊缝位置和尺寸的变化，焊接过程中工件受热及散热条件改变会造成焊道变形和熔透不均。    为克服机器人焊接过程中各种不确定性因素对焊接质量的影响，提高机器人作业智能化水平和工作的可靠性，要求弧焊机器人系统不仅能实现焊接参数的在线调整，且能实现焊缝的自动实时跟踪。己完成铝镁硅合金框架弧焊机器人柔性工作站焊缝智能跟踪与图象处理技术，使企业塞拉门设计制造的技术水平达国际先进水平。 本项目具有国际先进水平，拥有自主知识产权。 主要特点    已完成的项目，塞拉门框架的材料为铝镁硅合金，材料特殊、框架尺寸较大，焊点多而短、焊接质量要求高，故解决柔性夹具设计、实现两面焊接、满足多系列多规格门框尺寸的要求是体现了成果的先进性；    铝镁硅合金框架弧焊机器入柔性工作站所包括的柔性夹具、焊缝智能跟踪与图象处理技术，使企业塞拉门设计制造的技术水平达国际先进水平，体现了成果的创造性。技术指标    国内城市轨道车辆、高速列车的迅猛发展使得城轨门生产逐年猛增，品种不断翻新，但铝镁硅合金框架等主要零部件仍为手工焊接。由于手工焊接依赖于工人的技术水平，效率低，焊接质量欠佳，优质品率低，是制约我国城轨门产品升级的关键技术。    首选企业的高精度焊件达到：焊缝识别误差600×600像素， ±0. 25mm，±0.20mm;焊枪姿态误差，±0. 045mm，±0.040mm;其它误差（包括焊丝变形误差、工件热变形误差、焊接电流误差等），±0. 030mm，±0.020mm;视觉跟踪综合误差，±0.5mm，±0.35mm。市场前景    成果实施后使用单位使用前手工焊接的1.2万件／年，达到4万件。按人工焊接生产水平，支出费用为72万x3. 5=252万，机器人的投入成本1年半内可收回，且可满足使用单位近3-5年的发展需求。    按近几年使用单位产品产量的增长速度，2009-2010年产量可达5.5万件，2台机器人工作站每年可生产5. 68万件，完全满足生产要求。若仍用人工焊接则成本支出为72万x4. 6=331.2方元，而机器人工作台投入费用为零。企业每年可新增产值4-5亿元，利税1. 2-1.5亿元。    市场应用方面已具备推广应用的基本条件，该成果的完成，不仅可以提升企业高精度特材焊件设计制造的技术水平，提高企业技术创新能力和提升产业集聚度，使产品达同行业国内领先或国际先进水平，且可成为企业现代先进制造工艺与装备工程应用的一个亮点。通过开发研制，真正体现了产学研合作的现代高等教育理念，在高校和企业中锻炼出一批机器人研制方面、具有实战经验的科技人才。

车间级数字化技术是指制造工艺、数字化、智能控制以及机器人等技术相结合而产生的一类工程应用技术，俗称“制造工艺+互联网”，是以信息的离散化表述、传感、传递、建模处理、存储、执行和集成等信息科学理论及方法为基础的集成技术，向下拓展是建设智能化加工单元，向下拓展是建设智慧型企业。本解决方案主要针对焊接、成形，兼顾机械数控加工的数字化制造车间而设计的整套软、硬件系统。本项目创新开发的具有自主知识产权的车间级数字化产品，其理念是：焊接装备单元智能化、技术与管理网络化、工艺设计专家化、任务下达自动化、生产过程

工业机器人是智能制造的核心单元之一，但是我国国产工业机器人及其核心零部件多年来一直受制于人，华南理工大学和广州数控设备有限公司合作于2006年开展了工业机器人的研究和开发，于2008年8月份研制了第一台自己的机器人样机，经过多年的产学研合作，通过攻克一系列机器人关键技术，研究和开发了具有完全自主知识产权的系列化工业机器人，并通过与广州数控设备有限公司的长期合作实现了产业化，现公司年产销自主产权的工业机器人1000台套，实现工业产值近2亿元，带动相关智能制造产业产值10亿元。使得广州数控设备有限公司

系统地研发和掌握了智能自主机器人高精度运动控制、环境感知与地图构建、多视角目标识别与跟踪、自主定位、导航和路径规划、仪表智能识别以及自动报警、高效人机交互等核心技术和整套系统集成能力。 一、项目分类 重大科学前沿创新 二、成果简介 系统地研发和掌握了智能自主机器人高精度运动控制、环境感知与地图构建、多视角目标识别与跟踪、自主定位、导航和路径规划、仪表智能识别以及自动报警、高效人机交互等核心技术和整套系统集成能力。主持研制的铁路牵引变电站巡检机器人实现工程化，在西成客专成功、北京地铁试运行并辐射到地铁牵引供电、动力发电等设施的安全监控与运营维护和智慧农业应用。铁路变电所智能机器人巡检系统主要由智能巡检机器人、铁路变电所智能机器人监控中心、数据的智能处理和机器人充电房等部分组成，具备完全的自主知识产权;具有与铁路牵引供电SCADA系统无缝连接功能，是引领无人值守牵引变电站新模式的核心装备之一，该机器人系统解决了铁路变电站巡检自动化程度低，人工劳动强度大的问题，同时谱系化该机器人可为城市轨道变电站巡检提供新模式。

1.痛点问题 拟人化的智能体，在人类生活中开始起到越来越重要的辅助工作、提升生产力和情感交流等作用。具体形式包括实体化的机器人和虚拟的数字人形象两种形式。 在实体化的机器人技术中，由于各行业场景范围的多样性，移动机器人的避障问题是阻碍机器人广泛应用的一大痛点。 （1）基于视觉信息和深度强化学习来解决移动机器人避障问题，会因为仿真数据与真实数据的较大差别而导致泛化性能不足，使得真实场景下的避障的成功率下降。 （2）目前避障问题中的深度强化学习往往需要针对不同复杂程度的场景重新训练或者再训练模型，难以训练出适用各种密度场景的通用模型。 （3）基于雷达的深度强化学习避障方法受限于成本、功耗和仿真的难度等，往往使用单线雷达。但单线雷达仅能对某个固定的平面进行检测，如果移动机器人具有较高的高度，只对某个平面检测无法实现完美的避障。 此外，随着虚拟形象在金融、文旅、医疗、零售等领域的推广与应用，数字虚拟形象产业应用路线逐渐清晰，但仍存在产业链相对割裂、产品与需求匹配度低、生产成本高效率低、虚拟形象交互能力弱的问题。 2.解决方案 针对现有技术存在的问题，本成果的解决方案从两方面入手。首先，在移动机器人避障方面，本成果设计了一种同时结合单线雷达与单目相机的避障方法框架，并设计了新的更有效的深度强化学习模型。其次，本成果还提供一种虚拟形象说话视频生成方法及系统，使用深度学习方法，基于训练好的深度神经网络语音模型,对预设音频文件进行预测处理,通过在说话视频生成过程中引入三维人脸信息,并结合神经网络模型生成头部姿势自然转动且具有个性化说话习惯的说话视频。上述算法可搭载于通用硬件平台，构建低成本高效的虚拟形象视频生成系统。 基于以上科研成果，本项目将致力于国民经济各主流行业的数字化转型，在人工智能、机器学习、计算机视觉技术等领域持续积累智能场景应用创新技术，结合优秀的前沿技术整合与应用开发融合能力和深厚的市场推广能力，全力打造智能巡检/服务/协作机器人和虚拟人平台等软硬件一体化解决方案。以实体机器人并搭载虚拟说话人虚体，通过实体、虚体相结合的方式打造独一无二、具有全新体验的智能巡检/服务/协作机器人，提高智能巡检/服务/协作过程中交互的效率与质量。 合作需求 寻求在清洁能源、储能、新能源等行业智能运维部门和相关企业合作，对相关技术进行推广应用，在清洁能源、储能、新能源等行业中部署巡检/服务/协作机器人以及虚拟人服务平台，打造无人值守范例，赋能智能化运维，共同推动行业进步。

项目简介 机器视觉技术是一门涉及人工智能、神经生物学、计算机科学、图像处理、模式识 别等诸多领域的交叉学科，其主要用计算机来模拟人的视觉功能，从客观事物的图像中 提取信息，进行处理并加以理解，最终用于实际检测、测量和控制，目前已经广泛应用 在工业和民用领域中。 三维全景视觉检测技术是近年来机器视觉领域研究的热点之一，目前在视觉监控领 域、机器人定位、机器人视觉伺服控制等方面得到了应用。现阶段全景视觉检测技术主 要围绕运动系统的定位、伺服速度和精度开展研究，江苏大学先进制造与现代装备工程

1、产品介绍 AI人工智能语音与机器视觉应用系统是一款集成AI语音、机器视觉、深度学习基础、嵌入式Linux于一体的高端教学科研实验平台。 整个教学平台由实验箱高性能嵌入式主板够成，高性能嵌入式核心板采用高性能64位ARM处理器，标配4GB DDR3内存和16GB闪存，可运行ubuntu、android、linuxqt等多种操作系统，可满嵌入式linux和AI应用开发。 平台采用多核高性能 AI 处理器，预装 Ubuntu Linux 操作系统与 OpenCV 计算机视觉库，支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度学习端侧推理框架。 提供多种应用外设与丰富的机器视觉、AI语音、深度学习实战应用案例，如语音前处理（声源定位、语音增强、语音降噪、回声消除、声音提取）、语音活体检查、语音唤醒、语音识别、语音合成、自然语言处理、声纹识别门锁、语音智能家居、手写字识别、人脸识别、目标检测、端侧推理框架、图像识别、人体分析 、文字识别、人脸门禁控制、车牌道闸控制、手势家居控制等，通过案例教学让学生掌握计算机视觉与深度学习的基本原理和典型应用开发。 2、产品特点 （1）先进性 性能卓越：搭载AI嵌入式边缘计算处理器RK3399，配备4GB RAM与16GB存储空间，以及6英寸高清电容触摸屏，确保流畅的用户体验。 高效运算：配NPU协处理器模块，专为神经网络模型设计，提供高达8 TOPs@300mW的运算能力。 接口丰富：提供双路0、四路USB2.0、RS232、RS485以及多种嵌入式拓展接口，满足多样化的外设连接需求。 （2）扩展性 定制化设计：所有硬件单元均采用模块化设计，支持根据具体需求进行定制化选型和搭配。 项目套件丰富：提供多种可选的项目套件模块，支持完成多样化的AI应用场景设计和创新。 智能网关平台：智能边缘计算网关平台配备了包括GPIO、ADC、IIC、UART、PWM、SPI在内的常用接口拓展，增强了平台的适应性和灵活性。 （3）包容性 多功能应用：实验平台适用于人工智能、嵌入式系统、物联网、移动互联网、智能硬件等多个学科的实验教学，提供全面的教育资源。 课程与实验：支持包括Python程序设计、嵌入式Linux操作系统、机器视觉技术、自然语言处理、神经网络原理、无线通信、Android应用技术、物联网中间件、AIOT应用实训等在内的丰富课程和实验。 专业融合：平台在硬件设计上实现了物联网、人工智能和嵌入式技术的兼容性，提升了实训设备的复用率，有效解决了学校实训室空间和资金的限制问题。 AI语音与机器视觉应用系统致力于解决学校在开设人工智能课程时面临的师资、教学资源、实训资源、设备以及与行业应用对接的挑战，实现了产学研创一体化的教育模式 3、应用 系统支持多个工业化的应用场景，以智慧家居、智慧停车场、智慧门禁、智慧交通、趣味AI、智慧工地六大应用场景，及基于六大应用场景的20多种小AI应用场景。所有的应用场景及业务子项功能，均来自真实的人工智能行业应用。 4、配套 该产品除完整的软硬件系统外,还配备针对设备完整的人工智能实训指导书完整丰富的教学实训素材资源、以及基于设备系统的人工智能教学视频光盘。本产品提供免费的安装部署服务和设备实训培训服务。

E02大耳朵教育机器人：全球唯一可全自动上课的机器人老师，适配小学全教学场景。具备全自动授课、课程DIY编辑、迎宾主持等多元功能，自带几十种精品课程，形成 “机器人讲专业知识、老师负责育人”的双师协同课堂。