01. 成果简介 本成果涉及一种多模态触觉感知装置，属于机器人传感器技术领域。与人类相似，机器人感知外界环境最真实、稳定、便捷的方式便是通过机器人手触摸，机器人手的感知能力决定了机器人是否能够正确认知外界环境以及机器人的操作精度、成功率等。在新一代机器人手中，传感装置已逐渐趋于阵列化、多功能化和集成化。目前常见的触觉传感器有压阻式、电容式、光电式等，它们都存在密度难以提高、电路处理复杂等问题。为了克服以上不足，近年出现了基于视觉的触觉传感装置，具有结构简单、信息丰富等优势。目前基于视觉的触感装置仍存在性能提升空间。 本项目将感温变色油墨材料应用于触感装置，感知机器人操作过程中的温度[1]。同时提出一种基于微视觉的触觉三维力检测方法，通过采集触觉接触区域内弹性体的形变图像的变化，采用一系列图像处理方法，并且使用神经网络拟合的技巧，定性并且定量的刻画物理世界中的触觉、滑觉等，从而提供了一种多模态触觉感知装置，可以得到三维接触力、接触物体表面的温度及纹理等多种模态信息[2]。本装置打破了传统触觉感知装置单模态信息采集的现状，可在同一感知装置中集成受力、纹理、温度等信息的测量，检测触觉、滑觉、压觉三维接触力，获得高精度的接触纹理信息，实现了多模态信息的测量，并将这些信息综合到对一个物体的识别、抓取操作中，使机器人更加智能化、人性化。本装置具有实时性好，检测稳定，检测误差小，检测精度高的优点。 图1. 基于微视觉的多模态触觉感知装置结构图图2. 结合多模态触感装置的机械手02. 应用前景 本成果技术可应用于工业机器人、智能机器人、人机协作、医疗康复等领域，应用前景广泛。03. 知识产权 本成果核心技术已申请发明专利3项。04. 团队介绍 项目团队致力于研究具备自主决策和学习能力的机器人操作技能学习系统。团队包括孙富春、方斌、刘华平、宋亦旭四位教师，专注智能机器人灵巧精准操作研究，研制了拟人触觉的传感装置、多模态穿戴交互装置、残疾人假肢灵巧手、仿人感知灵巧手和变刚度软体手，在本领域发表论文40余篇，申请专利20余项，获得IROS2016机器人灵巧操作比赛冠军、IROS2017服务机器人操作比赛亚军、WRC2016最佳科技创新奖等。同时团队和河北清华发展研究院合作成立了人工智能及机器人研究中心，共同推动智能机器人的产业化发展。05. 合作方式 技术许可。06. 联系方式 邮箱：liuyi2017@tsinghua.edu.cn， fangbin@tsinghua.edu.cn

微创机器人外科及触觉感知国家自然科学基金课题 微创外科(MIS)与开放外科手术相比，具有切口小、疼痛轻、出血少和恢复快等优点，广泛应用于胸腹、脊柱、心血管和泌尿外科等领域 微创机器人外科(MIRS)由机器人替代医生操控手术器械，克服医生人为因素带来的风险，提高手术的安全性和灵巧性，改善手术精度和质量 触觉力信息缺失导致过大的操作力和器官组织创伤，是当前微创机器人外科面临的共同问题。项目利用光纤技术，研究微型触觉力传感器及其在器官组织类型和边界鉴定、机器人反馈控制应用中涉及到的一系列挑战性问题。获得的相关理论与技术，有望消除触觉缺失引起的手术风险，提高微创机器人外科手术的精度、稳定性和质量。

1.痛点问题 协作机器人与人类共享工作空间，通过直接（即物理上）或间接地与人类交互共同开展操作任务。相比传统工业机器人，协作机器人有更高的安全性和更易于编程的特点，能够通过人类示教部署于各种不同的任务并灵活地与人类配合。随着传统工业机器人带来的效率提升趋于饱和，能够安全配合人类的协作机器人能够进一步提高制造业的生产效率，带来可观的经济效益。然而，现有的协作机器人存在以下两大痛点问题。 问题一：安全和效率之间的权衡一直是人机交互中未系统解决的开放性问题。当存在人机直接接触时，为了保证人的安全，现有的协作机器人是通过中止正在进行的任务、顺从人的干预以保证安全；然而，不论人是有意地干预（即工人直接抓取机械臂来引导其任务）还是无意地接触机器人，都将造成机器人暂停手头工作；直到人类停止干预，机器人才能继续执行它的任务。虽然这种人机协作方式能够保证机器人与工人合作的安全，但因为机器人需要在不同的工作模式之间切换，其工作效率将会受到影响。 问题二：如何提高人的示教效率为协作机器人的另一大痛点问题。协同机器人多用于能够灵活拆装的生产线，以适应新的任务，因此新任务的编程效率很大程度上决定了工作效率。基于人类示教的编程方式具有自然、本能的优势，能够直接传递人类的操作技巧与经验。其中，将示教轨迹参数化为可以编辑修改、适应不同任务的形式是提高效率的核心问题。该示教轨迹不光应该包含机器人末端的运动数据，而且应该包含同时调整的冗余关节运动数据，从而同时完成末端主任务与关节避障任务，以适应工作环境。现有的示教方式未能结合离线示教与在线介入，因此无法适用于需要同时记录机器人末端和关节的示教任务。 2.解决方案 本项成果基于增强现实-触觉感知技术，开发了混合交互接口与人机互补操作算法，以解决上述痛点问题。 ①对于问题一，本项成果提出了自适应视觉控制与零空间阻尼控制的协作框架：在有限视场、未校正相机、关节奇异的情况下，保证了机器人在整个工作空间内的全局稳定性；在不影响机器人末端任务的前提下，允许人类专家随时、安全地介入以改变机器人关节姿态，以应对环境动态变化或突发事件，从而实现了安全与效率并重的人机协作方式。 ②对于问题二，本项成果构建了增强现实-触觉感知的混合接口，让人类专家可以在任务和冗余联合空间进行双手演示，同时记录机器人末端与机器人关节的数据。示教轨迹基于DMP方法进行参数化，能够根据不同任务所需的末端位置、关节角度、运动速度进行自适应调整，在保证末端任务精度的同时完成关节的避障任务。 技术核心： ①基于增强现实-触觉感知的混合交互接口; ②用于双手示教的机器人轨迹学习方法; ③自适应全局稳定控制算法。 预期产品：用于人机互补协同操作的设备与软件 3.合作需求 1)资金需求：本项成果开发的人机互补协作平台，在硬件与软件研发阶段需要资金投入，需约250-500万元人民币； 2)孵化资源：公司研发所需办公及研发场地、实验室、分析与测试实验室等； 3)团队：协作平台开发团队、商务开发与合作团队、财务、法务等支持团队； 4)生产制造企业合作：提供人机协同操作的场景与需求，开展工厂真实环境的测试与部署； 5)基础研究合作：与协作机器人、增强现实、触觉感知方向的国内外基础研究团队合作，开发新的交互设备与算法。

技术成熟度：技术突破 1.空间目标及星图光学探测仿真系统。由于空间目标探测真实数据获取成本较高，且数据量较少，结果验证困难，团队开发了空间目标及星图光学探测仿真系统。此工作以软件形式呈现，以友好的人机交互界面，根据用户的实际系统参数，提供准确可靠地提供当前时刻空间探测仿真图像，该软件前期经过与stk仿真软件结果比对验证其坐标的准确性，与在轨实测图像进行比对验证其仿真效果的可靠性。目前该软件已经在项目开发过程中广泛使用，为提高系统开发效率、验证算法性能提供有效支撑。 2.空间目标探测感知关键技术及算法体系。该成果以理论及软件开发包形式呈现，团队具备多年的空间探测相关开发经验，并将相关理论及算法构建软件开发包。该SDK开发包基于C++开发，具有较好的泛化能力，具有坐标描述转换、预处理、目标提取、星表制备、星图识别、光学标定、定位定姿定轨等功能，可支撑各层次的空间探测相关开发需求。目前团队基于此SDK开发的顶层软件，采用目标TLE数据库匹配的解决方法，已经完成长光奥闰光电科技有限公司地基望远镜空间目标的感知识别及长光卫星技术股份有限公司的星敏感器在轨图像空间目标自动提取与识别，后续还将采用更多的数据验证完善提升本系统的技术成熟度。 意向开展成果转化的前提条件： 1、长春长光奥闰光电科技有限公司等测站望远镜生产企业，利用本项目的共性技术，实现地基测站的空间目标自动探测感知，为空间安全提供支撑服务。 2、长光卫星技术股份有限公司、吉天星舟空间技术有限公司等遥感卫星公司，通过本技术的转化，可以利用星上光学载荷构建空间态势感知平台，为自身卫星安全提供保障、为国家及其他航天企业的空间安全需求提供数据支撑服务。另外可以在空间光学载荷开发过程中应用空间目标及星图光学探测仿真系统，对光学载荷的精度和鲁棒性进行评估和测试。

本实用新型公开了一种带温度和触觉力感知功能的仿人型机械手指。仿人机械手指分为弯曲幅度可控的三节手指金属指骨依次铰接而成，外表面用肤色硅胶封装；每节手指中空，在第三节手指金属指骨内布置微型电机及小型电路，第一节手指金属指骨和第二节手指金属的指腹均开有平面凹槽，内分别装有三维力传感器，第一节手指金属指骨顶端半圆面开有缺口，通过卡扣固定弧形的热导体和温度传感器，温度传感器紧密贴合于热导体内表面。本实用新型可以灵敏测量机械手指所接触物体的温度和施加在物体上的三维力，并实时传输给控制系统，通过三维力变化识别滑移、物体变形等，实现将人工触觉集成于机械手指上，便于闭环控制机械手更加智能灵巧稳定的抓取物体。

1969 年, Kawai 发现在极化的含氟化合物, 聚偏二氟乙烯(PVDF ) 中, 具有很高的压电能力。 PVDF 压电薄膜还具有宽频带、高介电强度等特性, 同时具有柔韧、极薄、质轻和高韧度等机械特点, 可以制成多种厚度和较大面积的阵列元件。在触觉应用中的主要问题是: 同时对温度敏感, 压电信号同热电信号耦合在一起;不能测纯静态信号, 频带下限0. 001Hz。PVDF (聚偏二氟乙烯) 压电薄膜具有压电能力高、柔韧、极薄、质轻等特点, 其具有许多特性接近人类皮肤的特性, 受到研究人员的关注

本发明公开了一种多线圈电磁式力触觉反馈装置及方法，包括底座、设置在底座上的 n 个电磁线圈 和操作杆;电磁线圈内部为导磁铁芯、外部缠绕铜线，并与嵌入式控制系统的驱动线圈控制电路连接; 一个电磁线圈作为磁场补偿线圈设置在底座中心轴处，其余电磁线圈作为磁场产生线圈在操作空间中围 绕中心轴等距分布在底座上;线圈的姿态能够随着人机交互应用案例的需要而调整，线圈的位置能够随 着不同的人机交互应用需要而动态改变;操作杆由磁铁及手柄构成，用于在线圈产生的可操作有效磁场 空间中与磁场交互。本发明

成果与项目的背景及主要用途：本项目所提供的新型触觉传感器是人工智能 技术的核心部件之一，能够感应柔软程度、温度及微压力变化，它不仅可以直接 用于生活产品，而且对于其它行业的科技革新以及国家现代化国防建设具有深远 的影响。该材料是以较为成熟的触觉传感器材料工艺为依托，经过对材料的进一 步开发使其能够感应柔软程度、温度和微压力的变化（最小可感知压力为 40g， 电导率变化范围 10－104S/cm－2）。该材料以导电聚合物和橡胶为主要载体，并添 加导电碳及其他纳米级附加材料，使用这种智能材料可以开发出多种实用化的新 型触觉传感器。其突出的先进性表现在：生产成本低、功能强、无时间记忆误差、 感知线性稳定、具有良好的材料物理特性、具有高度的可信赖性、性能可控制度 好、可再加工性好。 技术原理与工艺流程简介：这种新型触觉传感器材料的导电原理是：当聚合 物不受外界压力时，具有导电性的碳粒子是不相互接触的，当聚合物受压变形时 碳粒子间慢慢的相互接触从而形成导电通路，阻抗也就以对数关系下降。此外， 聚合物受温度的影响致使材料的特性发生变化，温度下降时发生收缩导致导电粒 子间的相互距离减小，升温时膨胀导致导电粒子间的距离增长，因此在同样的外 界压力下随着温度的变化阻抗也会有所变化。 触觉传感器制备工艺较为简单，关键是本技术中采用了以导电聚合物为主体 材料的纳米复合技术，使该产品能够正确感知目前产品所不能感知的微小压力变 化。 技术水平及专利与获奖情况：该项目处于实验室产品阶段。 应用前景分析及效益预测：本项目提出的线性可控触觉传感器以其优越的触 觉特性，具有极大的市场投放前景和经济效益。但同时也需要企业在成立之初获 得大量的资金投入，迅速将工艺成熟起来。从目前本项目提出的科技含量及技术 111天津大学科技成果选编 112 背景来看，国内不存在竞争对手，而且随着公司的成立，公司对产品研发的进一 步深入，在未来 5 年内，本项目产品也必将在国际传感器行业中具有一席之地。 应用领域：1. 智能玩具；2. 交互式媒体互联网；3. 无人驾驶汽车；4. 医疗 领域远程医疗；5. 智能机器人皮肤等。

与高速飞行的飞机不同，微小型无人机体积小，重量轻，飞行速度低，更容易受到环境湍流的影响，需要高灵敏度的小型气流传感器提供全面的空气动力学信息。如何让微小型无人机像鸟类一样感知和操纵气流一直是航空和传感器领域的难题。 面向微小型无人机的飞行参数测量，北航研发团队研制出一种基于氧化钒的高灵敏度柔性流速传感器，实现了0.11 mm/s和0.1°的超高流速和角度分辨力，实验验证了攻角、侧滑角和空速的多参数感知能力，并完成了微小型无人机飞行速度以及机翼微振动的测量，为微小型无人机提供了低成本、高精度的大气参数传感方案。 该传感器基于量热式原理，由中心微加热器产生恒定温差，四周的热敏电阻阵列测量温度分布，根据热敏电阻阵列测得的温度差准确反映流速大小及方向。采用悬空型隔热结构以及高电阻温度系数材料氧化钒作为热敏电阻以增大传感器的测量灵敏度。在聚酰亚胺基底上通过MEMS工艺加工了总厚度90μm的超薄柔性流速传感器，实现了微小型无人机的曲面贴附功能。经风洞测试，流速传感器的理论分辨力达0.11 mm/s,流速测量重复精度约为测量值的0.5%，响应时间约为20ms。在10 m/s时，流速传感器的最大角度灵敏度为36.7 mV/deg，噪音水平为1.78 mV，根据2σ准则计算出其理论角度分辨力为0.1°。 研究团队已经完成流速传感器工程化样品的制备，并将两个流速传感器装载到一个微小型无人机平台上进行飞行参数感知应用。结果表明平均飞行速度的估计误差低于0.2 m/s。由于流速传感器的高灵敏度特性，它甚至捕捉到了机翼的微振动信息，并与外置IMU模块显示了相同的机翼振动频率。这项研究展示了一种柔性高灵敏度流速传感器，拓宽了流场感知在微小型无人机姿态检测、空速估计以及飞行安全监测方面的应用，为无人机的飞行参数测量提供了创新的设计思路与发展前景。

项目成果/简介: 本技术基于人体肌肉运动生理学原理，在肌纤维处施加一定模式的电刺激信号可使肌肉发生收缩和拉伸等动作，从而使人产生自主肌体运动或使皮肤触觉小体产生特定的触觉感应。采用穿戴式柔性新型电极阵列实施电刺激，并研究多种用于力触觉反馈的电刺激模式组合，简单易行、轻巧方便、力触觉感应分辨率高，增强虚拟场景沉浸感。同时通过不同的电极阵列结构、材质、形态设计，丰富电刺激模式库，提高力触觉反馈的时间和空间准确度。 虚拟现实力触觉反馈交互技术可用于虚拟现实游戏、虚拟现实教育培训、虚拟制造等领域，也可以用于煤矿、安防等高风险领域，以及电影技术。电刺激肱二头肌力反馈交互虚拟拉弓场景交互知识产权类型:发明专利技术先进程度:达到国内领先水平成果获得方式:独立研究获得政府支持情况:无