01. 成果简介 本成果涉及一种多模态触觉感知装置，属于机器人传感器技术领域。与人类相似，机器人感知外界环境最真实、稳定、便捷的方式便是通过机器人手触摸，机器人手的感知能力决定了机器人是否能够正确认知外界环境以及机器人的操作精度、成功率等。在新一代机器人手中，传感装置已逐渐趋于阵列化、多功能化和集成化。目前常见的触觉传感器有压阻式、电容式、光电式等，它们都存在密度难以提高、电路处理复杂等问题。为了克服以上不足，近年出现了基于视觉的触觉传感装置，具有结构简单、信息丰富等优势。目前基于视觉的触感装置仍存在性能提升空间。 本项目将感温变色油墨材料应用于触感装置，感知机器人操作过程中的温度[1]。同时提出一种基于微视觉的触觉三维力检测方法，通过采集触觉接触区域内弹性体的形变图像的变化，采用一系列图像处理方法，并且使用神经网络拟合的技巧，定性并且定量的刻画物理世界中的触觉、滑觉等，从而提供了一种多模态触觉感知装置，可以得到三维接触力、接触物体表面的温度及纹理等多种模态信息[2]。本装置打破了传统触觉感知装置单模态信息采集的现状，可在同一感知装置中集成受力、纹理、温度等信息的测量，检测触觉、滑觉、压觉三维接触力，获得高精度的接触纹理信息，实现了多模态信息的测量，并将这些信息综合到对一个物体的识别、抓取操作中，使机器人更加智能化、人性化。本装置具有实时性好，检测稳定，检测误差小，检测精度高的优点。 图1. 基于微视觉的多模态触觉感知装置结构图图2. 结合多模态触感装置的机械手02. 应用前景 本成果技术可应用于工业机器人、智能机器人、人机协作、医疗康复等领域，应用前景广泛。03. 知识产权 本成果核心技术已申请发明专利3项。04. 团队介绍 项目团队致力于研究具备自主决策和学习能力的机器人操作技能学习系统。团队包括孙富春、方斌、刘华平、宋亦旭四位教师，专注智能机器人灵巧精准操作研究，研制了拟人触觉的传感装置、多模态穿戴交互装置、残疾人假肢灵巧手、仿人感知灵巧手和变刚度软体手，在本领域发表论文40余篇，申请专利20余项，获得IROS2016机器人灵巧操作比赛冠军、IROS2017服务机器人操作比赛亚军、WRC2016最佳科技创新奖等。同时团队和河北清华发展研究院合作成立了人工智能及机器人研究中心，共同推动智能机器人的产业化发展。05. 合作方式 技术许可。06. 联系方式 邮箱：liuyi2017@tsinghua.edu.cn， fangbin@tsinghua.edu.cn

Anter是以安全协作、自主运动、智能感知、行为决策为核心功能的多模态感知复合机器人。她开创了机器人协作、运动、感知决策的柔性工作模式，摆脱传统机器人位置固定、任务固定的结构化环境工作方式，适用于科研教育、工业移动作业、物流分拣、仓储管理、安防巡检、医疗服务、智慧零售等领域。

人工智能3D喷胶柔性生产线主要由工业机器人机器人，3D视觉系统，自动喷胶系统、自动清洗系统、产品输送线、安全系统及限属设备组成。系统中机器人无需编程，由3D视觉算法引导机器人执行喷胶作业喷胶轨迹根据产品型号、位置、歪斜角度等自动调整。人工智能3D视觉喷胶系统内置多种先进深度学习算法，可识别包括金属件、盒状物体、袋状物体、瓶状物体等在内的多种物体，物体既可紧密贴合，亦可随意堆叠。支持带有复杂图案，反光胶带，面单的物体，支持表面反光或暗色的物体。流程化的界面，简单易懂;完全开放式的后台，支持用户进行定制化算法开发，帮助实现全自动化标定;可视化、无代码的编程界面，一键仿真;用户无需编写任何代码，即可学会操作机器人;完全图形化交互界面，功能图标直观易懂，拖式操作能快速搭建视觉方案

成果介绍人脸三维识别，工业产品的三维检测技术创新点及参数自适应，“拟人”；深度学习（神经网络）；模糊逻辑和逻辑推理；进全局优化化计算。市场前景人脸识别，工业产品的外观三维检测

一般来说，燃料成本约占燃煤发电企业总发电成本的70%－80%。可见，燃料成本是发电厂生产经营和经济核算的中心环节。因此，燃料的现代化管理水平对火力发电厂的生产安全、经济、稳定以及提高企业的经济效益有着重要意义。火电厂的燃煤管理是生产管理的重要环节之一，只有准确、迅速测量出煤场存煤量，才能对电厂进行成本核算、经济效益评估和科学的管理。传统盘煤方式主要采用人工丈量的方法。这种方法不仅费时费力、不准确，而且易受气象条件影响。

检测技术是现代制造业的基础技术之一，是保证产品质量的关键。随着现代制造业的发展，许多传统的检测技术已不能满足其需要，主要表现在：现代制造产品种类越来越多，制造精度越来越高，很多场合要求实时、在线、非接触检测；现代制造业的发展需要更快速、有效的产品检测技术。视觉检测技术是建立在计算机视觉理论基础上的一门新兴检测技术，具有非接触、速度快、精度高、现场抗干扰能力强等许多优点，能很好地满足现代制造业对检测的需求，在实际中正取得越来越广泛的应用，如零件外形尺寸测晕、零件的缺陷检查、零件装配、机器人的引导和零件的识别等。 浙大团队设计轴承表面视觉在线检测系统，被检轴承在机械运动工作平台上，在计算机的控制下，以一定的速度和节拍在传输带上运动，轴承在光源的照射下，其影像被投射到光学成像系统，CCD摄像头将其接收的光学影像转换成视频信号输出到图像采织卡，图像采媒卡再将视频信号转换成数字图像信息供计算机处理。计算机运用各种算法对图像数据进行预处理、轴承图像分割、定位以及计算等，最终判断所检轴承是否为合格品，为合格品者则计算并输出图像的相对转角，由机械执行机构（比如机械臂）根据此转角完成轴承生产的下一工序。

产品详细介绍一、嵌入式机器视觉图像处理平台     MV-VS800是一款高性能数字图像信号处理平台，具有极强的处理性能，高度的灵活性、工作稳定性和可编程性，平台功耗低、接口丰富，体积小巧，智能化程度高、拥有大量常用的图像处理软件库，是用户构造机器视觉图像处理系统的理想选择。二、机器视觉图像处理软件1、MV-MVIPS图像处理软件、HALCON机器视觉软件                               2、HALCON机器视觉软件 MVIPS 机器视觉图像处理软件平台是一款高性能的工业机器视觉软件工具包，用户可以利用其快速开发图像处理和机器视觉应用软件，快速搭建自己的机器视觉应用系统，它功能强大，测量、检测、识别速度快，可靠性高。MVIPS机器视觉图像处理软件提供了图像测量、字符识别、彩色分析、缺陷检测和目标定位等多个库函数，软件开发平台具有良好的人机界面，有图像输入、程序代码、参数设置、数据输出窗口，用户可以用简单的下拉式菜单界面，在软件中只需要快速调用相应函数就可以实现自己想要的功能。三、应用领域1、缺陷检测；2、尺寸测量；3、OCR&OCV；4、颜色比对；5、匹配定位。6、其他。

一、产品概述       本设备以工业机器人与机器视觉为核心，将机械、气动、运动控制、变频调速、编码器技术、PLC控制技术有机地进行整合，结构模块化，便于组合，实现对高速传输线上的不同物料进行快速的检测、组装。为了方便实训教学，系统进行了专门的设计，可以完成各类机器人单项训练和综合性项目训练，可完成各类机器人单项训练和综合性项目训练。可以进行六轴机器人示教、定位、抓取、装配等训练，        包含六自由度工业机器人、智能视觉检测系统、PLC控制系统及一套供料、输送、装配、仓储机构，可以实现对高速传输的工件进行分拣、检测、搬运、装配、存储等操作。该平台各组件均安装在型材桌面上，机械结构、电气控制回路、执行机构相对独立，采用工业标准件设计。通过此平台可以进行机械组装、电气线路设计与接线、PLC编程与调试、智能视觉流程编辑、工业机器人编程与调试应用等多方面训练，适合职业院校、技工学校自动化类相关专业《工业机器人与控制技术》、《自动化技术》等课程的实训教学，适合自动化技术人员进行工程训练及技能比赛。二、技术性能1、输入电源：单相三线～220V±10% 50Hz2、工作环境：温度-10℃～+40℃  相对湿度≤85%（25℃）  海拔＜4000m3、装置容量：＜1.5kVA4、实训平台尺寸：2200mm×1200mm×1500mm5、安全保护：具有漏电保护，安全符合国家标准三、设备结构与组成      该实训平台由ABB IRB120-3型六自由度工业机器人系统、海康智能视觉检测系统、可编程控制器（PLC）系统、四工位供料单元、环形输送单元、工件存储盒供料单元、工件组装单元、仓库单元、废品回收桶、各类工件、型材实训桌、型材电脑桌等组成。 1、工业机器人本体： ABB IBR120/3六自由度工业机器人本体；最大负载≥3 kg； 最大臂展半径≥580mm； 轴数：≥6轴；位置重复精度：≦0.01mm； 防护等级： ≥IP30； 轴运动范围： （1）1轴：≥±165°  （2）2轴：≥±110° （3）3轴：≥+70°至 -110° （4）4轴：≥±160° （5）5轴：≥±120° （6）6轴：≥±400° 机器人本体重量：≤25kg； 最大噪音：≤70dB(A)。 2、工业机器人控制器： （1）紧凑型工业机器人控制柜，与配套的工业机器人本体配套； （2）控制硬件：多处理器系统大容量闪存、 UPS 备份电源（≥20S）； （3）控制软件：软件出厂预装； （4）额定功率：≥3KVA(变压器容量)； （5）电源输入：200V/230V 50-60Hz （6）尺寸：710*449*442mm （7）重量：30kg （8）防护等级：IP20 3.FlexPendant示教器 （1）重量：1kg （2）支持：彩色触摸屏、操纵杆，紧急停、支持惯用左/右手切换，支持U盘、热插拔、恢复程序，支持USB储存器，带时间标记登录，支持远程服务。 4、海康智能视觉检测系统   主要是配合工业机器人做智能检测工件角度缺陷及自动对位等以及工业机器人视觉学习开发使用；工业相机，要求如下：像素：≥130W像素； 分辨率：≥1280×960； 像素尺寸：≥3.75μm× 3.75μm； 光谱：彩色； 支持自定义AOI，降低分辨率、f≥16mm F1.4：12毫米工业镜头，百万像素相机； 配套同轴光源，光源大小≥80mm×80mm；准环形光源，直径≥70mm，照射角度≥90度，带模拟控制器；配套同轴光源及光源控制器：发光窗口≥50mm*50mm含调光控制电源；机器视觉兼视觉开发环境。5、西门子可编程控制器单元     配备西门子S7-1200可编程控制器，自带以太网通讯模块、数字量扩展模块控制机器人、电机、气缸等执行机构动作，处理各单元检测信号，管理工作流程、数据传输等任务。   6、四工位供料单元     由移动井式料库、推料气缸、无杆气缸和光电传感器组成，安装在型材实训桌上，用于将工件库中的工件依次推出到环形输送线。提供不同颜色的标准工件，杂色叠加等不合格工件。多工位的供料设计，使得供料方式多样化，可以进行单一的上料，也可以进行不同颜色的组合上料，以及对上料速 度进行控制，实现上料形式的多样化。7、环形柔性输送单元      包含一套交流调速系统，由三菱D720变频器、三相交流电机、环形板链（传送带）、光纤传感器等组成，安装在型材实训桌上，用于传输工件。8、工件存储盒供料单元      包含一套步进电机推杆、DM556步进驱动、料盒存储槽等组成，安装在型材实训桌上，当一个工件存储盒被取走会自动退出下一个工件存储盒，用于工件存储盒自动供料。9、工件组装单元      由工件存储盒托盘及型材立柱组成，安装在型材实训桌上，用于装配工件。工件盒内设有4个工件槽用于放置工件，机器人可以根据不同配方按照上位机设定颜色进行放置工件。10、仓库单元      由工件存储盒托盘及型材立柱组成，安装在型材实训桌上，机器人用于放置装配完的组件进行堆垛，也可以通过机器人对装配完成的组件进行拆垛。11、废品回收桶      安装在型材实训桌左后侧，用于机器人自动放置被检测出来的无用工件或不合格品。 四、实训项目1. 机器视觉系统的原理、使用和调试2. 六轴工业机器人系统的原理、使用和调试3. 六轴工业机器人坐标系统和机器视觉坐标系统标定及相互转换4. 工业机器人与机器视觉系统综合应用的安装与调试5. 机器视觉系统模板设置、编程与调试6. 通过示教单元手动调试工业机器人7. 通过示教单元设置、修改各控制点坐标8. 通过示教单元编写、修改工业机器人程序9. 机器人追踪坐标整定10. 工业机器人系统的软件二次开发编程  11.智能视觉图像输入编辑与调试12.智能视觉结果给出编辑与调试13.智能视觉颜色比对测量14.智能视觉编号比对测量15.智能视觉尺寸比对测量16.智能视觉角度测量17.智能视觉系统与工业机器人综合应用18.PLC程序编程与调试19.智能视觉系统与工业机器人综合应用

本发明在智能手机中传感器应用为上下文感知服务基础上，提出了一种为上下文感知应用程序使用的低功耗传感器轮询方法。该方法可以动态清除不必要的传感器活动，从而使得这些传感器可以更长时间地保持睡眠状态。同时也提出了一种寻找应用请求与传感器活动间关系的方法。采用这种方法，轮询调度器总能计算并匹配用户调用的多种应用程序组合探测频率来引导低功耗轮询以避免非必须活动。使用不同上下文应用程序对此方法进行评估，结果表明中间件中低功耗轮询响应时间极小(97ms)，与传统穷举轮询操作相比，大约可以节约70％的能耗，该上下文感知服务实现可以减少智能手机的传感器能耗并延长其电池使用时间。

微创机器人外科及触觉感知国家自然科学基金课题 微创外科(MIS)与开放外科手术相比，具有切口小、疼痛轻、出血少和恢复快等优点，广泛应用于胸腹、脊柱、心血管和泌尿外科等领域 微创机器人外科(MIRS)由机器人替代医生操控手术器械，克服医生人为因素带来的风险，提高手术的安全性和灵巧性，改善手术精度和质量 触觉力信息缺失导致过大的操作力和器官组织创伤，是当前微创机器人外科面临的共同问题。项目利用光纤技术，研究微型触觉力传感器及其在器官组织类型和边界鉴定、机器人反馈控制应用中涉及到的一系列挑战性问题。获得的相关理论与技术，有望消除触觉缺失引起的手术风险，提高微创机器人外科手术的精度、稳定性和质量。