项目成果/简介: 本技术基于人体肌肉运动生理学原理，在肌纤维处施加一定模式的电刺激信号可使肌肉发生收缩和拉伸等动作，从而使人产生自主肌体运动或使皮肤触觉小体产生特定的触觉感应。采用穿戴式柔性新型电极阵列实施电刺激，并研究多种用于力触觉反馈的电刺激模式组合，简单易行、轻巧方便、力触觉感应分辨率高，增强虚拟场景沉浸感。同时通过不同的电极阵列结构、材质、形态设计，丰富电刺激模式库，提高力触觉反馈的时间和空间准确度。 虚拟现实力触觉反馈交互技术可用于虚拟现实游戏、虚拟现实教育培训、虚拟制造等领域，也可以用于煤矿、安防等高风险领域，以及电影技术。电刺激肱二头肌力反馈交互虚拟拉弓场景交互知识产权类型:发明专利技术先进程度:达到国内领先水平成果获得方式:独立研究获得政府支持情况:无

本技术基于人体肌肉运动生理学原理，在肌纤维处施加一定模式的电刺激信号可使肌肉发生收缩和拉伸等动作，从而使人产生自主肌体运动或使皮肤触觉小体产生特定的触觉感应。采用穿戴式柔性新型电极阵列实施电刺激，并研究多种用于力触觉反馈的电刺激模式组合，简单易行、轻巧方便、力触觉感应分辨率高，增强虚拟场景沉浸感。同时通过不同的电极阵列结构、材质、形态设计，丰富电刺激模式库，提高力触觉反馈的时间和空间准确度。 虚拟现实力触觉反馈交互技术可用于虚拟现实游戏、虚拟现实教育培训、虚拟制造等领域，也可以用于煤矿、安防等高风险领域，以及电影技术。 电刺激肱二头肌力反馈交互 虚拟拉弓场景交互

伴随着虚拟现实技术，增强现实技术，触觉反馈技术以及智能机器人的出现，人们在视觉和触觉上有了越来越多不同的全新体验。例如，目前对 于机器人的操作方式一般是通过遥控装置或是手动触控，这个使用者的操作带来 很多不方便而且对于初学者来讲也不是很好掌握，同时操作失误率较高，因为我们不能真切的感受到机器人的世界。具备视觉与触觉反馈的体感机器人采用体感交互装置采集目标人体肢体关 节信息，对目标人体的姿态或动作进行分析识别;根据获取到的分析识别结果产 生对应的体感交互指令;将体感交互指令发送至机器人，机器人执行体感交互指 令;同时机器人采集自己周围环境信息，例如指尖压力信息和周身图像信息，通 过体感交互装置反馈给目标人体。通过上述方式不仅突破了传统的对机器人的控 制方式，而且通过触觉反馈的方式还有 3D 图像的显示，在大程度的让使用者得 到沉浸式的操作体验。随之而得到的不仅仅是方便的操作和大大降低的操作失误 率，同时也给用户带来了更为生动的操作体验。

本发明公开了一种多线圈电磁式力触觉反馈装置及方法，包括底座、设置在底座上的 n 个电磁线圈 和操作杆;电磁线圈内部为导磁铁芯、外部缠绕铜线，并与嵌入式控制系统的驱动线圈控制电路连接; 一个电磁线圈作为磁场补偿线圈设置在底座中心轴处，其余电磁线圈作为磁场产生线圈在操作空间中围 绕中心轴等距分布在底座上;线圈的姿态能够随着人机交互应用案例的需要而调整，线圈的位置能够随 着不同的人机交互应用需要而动态改变;操作杆由磁铁及手柄构成，用于在线圈产生的可操作有效磁场 空间中与磁场交互。本发明

1.痛点问题 协作机器人与人类共享工作空间，通过直接（即物理上）或间接地与人类交互共同开展操作任务。相比传统工业机器人，协作机器人有更高的安全性和更易于编程的特点，能够通过人类示教部署于各种不同的任务并灵活地与人类配合。随着传统工业机器人带来的效率提升趋于饱和，能够安全配合人类的协作机器人能够进一步提高制造业的生产效率，带来可观的经济效益。然而，现有的协作机器人存在以下两大痛点问题。 问题一：安全和效率之间的权衡一直是人机交互中未系统解决的开放性问题。当存在人机直接接触时，为了保证人的安全，现有的协作机器人是通过中止正在进行的任务、顺从人的干预以保证安全；然而，不论人是有意地干预（即工人直接抓取机械臂来引导其任务）还是无意地接触机器人，都将造成机器人暂停手头工作；直到人类停止干预，机器人才能继续执行它的任务。虽然这种人机协作方式能够保证机器人与工人合作的安全，但因为机器人需要在不同的工作模式之间切换，其工作效率将会受到影响。 问题二：如何提高人的示教效率为协作机器人的另一大痛点问题。协同机器人多用于能够灵活拆装的生产线，以适应新的任务，因此新任务的编程效率很大程度上决定了工作效率。基于人类示教的编程方式具有自然、本能的优势，能够直接传递人类的操作技巧与经验。其中，将示教轨迹参数化为可以编辑修改、适应不同任务的形式是提高效率的核心问题。该示教轨迹不光应该包含机器人末端的运动数据，而且应该包含同时调整的冗余关节运动数据，从而同时完成末端主任务与关节避障任务，以适应工作环境。现有的示教方式未能结合离线示教与在线介入，因此无法适用于需要同时记录机器人末端和关节的示教任务。 2.解决方案 本项成果基于增强现实-触觉感知技术，开发了混合交互接口与人机互补操作算法，以解决上述痛点问题。 ①对于问题一，本项成果提出了自适应视觉控制与零空间阻尼控制的协作框架：在有限视场、未校正相机、关节奇异的情况下，保证了机器人在整个工作空间内的全局稳定性；在不影响机器人末端任务的前提下，允许人类专家随时、安全地介入以改变机器人关节姿态，以应对环境动态变化或突发事件，从而实现了安全与效率并重的人机协作方式。 ②对于问题二，本项成果构建了增强现实-触觉感知的混合接口，让人类专家可以在任务和冗余联合空间进行双手演示，同时记录机器人末端与机器人关节的数据。示教轨迹基于DMP方法进行参数化，能够根据不同任务所需的末端位置、关节角度、运动速度进行自适应调整，在保证末端任务精度的同时完成关节的避障任务。 技术核心： ①基于增强现实-触觉感知的混合交互接口; ②用于双手示教的机器人轨迹学习方法; ③自适应全局稳定控制算法。 预期产品：用于人机互补协同操作的设备与软件 3.合作需求 1)资金需求：本项成果开发的人机互补协作平台，在硬件与软件研发阶段需要资金投入，需约250-500万元人民币； 2)孵化资源：公司研发所需办公及研发场地、实验室、分析与测试实验室等； 3)团队：协作平台开发团队、商务开发与合作团队、财务、法务等支持团队； 4)生产制造企业合作：提供人机协同操作的场景与需求，开展工厂真实环境的测试与部署； 5)基础研究合作：与协作机器人、增强现实、触觉感知方向的国内外基础研究团队合作，开发新的交互设备与算法。

生物反馈是医学、电子学、计算机技术、生物控制论以及近代心理学、精神生理学相互渗透而形成的一种新型的行为医学治疗技术。基于该技术，近年来南京大学生物医学电子工程研究所成功研制了以下生物反馈仪：脑功能生物反馈仪 与传统的药物疗法相比，脑电生物反馈疗法更能充分调动受训者的内在潜力，使受训者积极参与治疗。此项技术可用于神经精神疾病的治疗，如癫痫、注意力障碍多动综合症(ADHD)、学习障碍、睡眠障碍等症。 自主神经功能仪 自主神经功能仪构思新颖，为国内

一、项目分类 关键核心技术突破 二、成果简介 智能交互织物是未来纺织品发展的重要趋势，是目前广受产学界追捧的前沿科技领域之一。随着新型智能织物的出现以及传感器和人工智能技术的发展，智能交互织物领域实现了新的突破。新型智能交互织物将可穿戴织物与传感器、人工智能等技术相结合，具有可穿戴、智能、灵活、自适应的性能，能够更好地满足人们的需求。智能交互织物主要技术原理为利用柔性织物传感器件实现对人体多种信号的采集，然后通过WiFi、蓝牙等无线传输模式实现对信号数据的实时传输，再利用机器学习和神经网络等算法实现对所采集数据的分类处理，最后将处理后的信号利用实时可视化界面进行展示，从而实现更智能的人机交互。与传统织物相比，新型智能交互织物采用新一代智能纤维制成，并嵌入了多样化的微传感器技术，实现了将可穿戴织物与传感器、人工智能等计算机技术完美融合。具有可穿戴、智能、灵活、适应性强等特性，能够更好地满足社会需求，更容易被用户接受。智能织物的出现，标志着传统纺织业与电子技术、制造技术、传感器技术、人工智能技术、物联网技术等新兴科技的进一步融合。

1969 年, Kawai 发现在极化的含氟化合物, 聚偏二氟乙烯(PVDF ) 中, 具有很高的压电能力。 PVDF 压电薄膜还具有宽频带、高介电强度等特性, 同时具有柔韧、极薄、质轻和高韧度等机械特点, 可以制成多种厚度和较大面积的阵列元件。在触觉应用中的主要问题是: 同时对温度敏感, 压电信号同热电信号耦合在一起;不能测纯静态信号, 频带下限0. 001Hz。PVDF (聚偏二氟乙烯) 压电薄膜具有压电能力高、柔韧、极薄、质轻等特点, 其具有许多特性接近人类皮肤的特性, 受到研究人员的关注

一、项目简介 随着智能硬件的快速普及，人机交互方式发生了重大变革，迫切需要语音唤醒、近/远场语音识别、语音合成等语音交互关键技术，尤其要解决复杂场景下的识别鲁棒性等问题。 二、前期研究基础 已开发实现语音唤醒、命令词识别系统、多元麦克风阵列系统、云端“自由说”语音识别系统、基于深度学习的语音合成系统。 三、应用技术成果 应用开发方面，课题组与华为公司合作，研发语音交互关键技术，涉及语音唤醒、声纹识别、语音识别、麦克风阵列，已开发实现语音唤醒、声纹识别和麦阵语音识别系统，应用到智能手机、智能机器人等平台。 四、合作企业 华为技术有限公司是一家生产销售通信设备的民营通信科技公司，于1987年正式注册成立，总部位于中国深圳市龙岗区坂田华为基地。华为是全球领先的信息与通信技术（ICT）解决方案供应商，专注于ICT领域，坚持稳健经营、持续创新、开放合作，在电信运营商、企业、终端和云计算等领域构筑了端到端的解决方案优势，为运营商客户、企业客户和消费者提供有竞争力的ICT解决方案、产品和服务，并致力于使能未来信息社会、构建更美好的全联接世界。2013年，华为首超全球第一大电信设备商爱立信，排名《财富》世界500强第315位。目前，华为约有18万名员工，业务遍及全球170多个国家和地区，服务全世界三分之一以上的人口。

成果与项目的背景及主要用途：本项目所提供的新型触觉传感器是人工智能 技术的核心部件之一，能够感应柔软程度、温度及微压力变化，它不仅可以直接 用于生活产品，而且对于其它行业的科技革新以及国家现代化国防建设具有深远 的影响。该材料是以较为成熟的触觉传感器材料工艺为依托，经过对材料的进一 步开发使其能够感应柔软程度、温度和微压力的变化（最小可感知压力为 40g， 电导率变化范围 10－104S/cm－2）。该材料以导电聚合物和橡胶为主要载体，并添 加导电碳及其他纳米级附加材料，使用这种智能材料可以开发出多种实用化的新 型触觉传感器。其突出的先进性表现在：生产成本低、功能强、无时间记忆误差、 感知线性稳定、具有良好的材料物理特性、具有高度的可信赖性、性能可控制度 好、可再加工性好。 技术原理与工艺流程简介：这种新型触觉传感器材料的导电原理是：当聚合 物不受外界压力时，具有导电性的碳粒子是不相互接触的，当聚合物受压变形时 碳粒子间慢慢的相互接触从而形成导电通路，阻抗也就以对数关系下降。此外， 聚合物受温度的影响致使材料的特性发生变化，温度下降时发生收缩导致导电粒 子间的相互距离减小，升温时膨胀导致导电粒子间的距离增长，因此在同样的外 界压力下随着温度的变化阻抗也会有所变化。 触觉传感器制备工艺较为简单，关键是本技术中采用了以导电聚合物为主体 材料的纳米复合技术，使该产品能够正确感知目前产品所不能感知的微小压力变 化。 技术水平及专利与获奖情况：该项目处于实验室产品阶段。 应用前景分析及效益预测：本项目提出的线性可控触觉传感器以其优越的触 觉特性，具有极大的市场投放前景和经济效益。但同时也需要企业在成立之初获 得大量的资金投入，迅速将工艺成熟起来。从目前本项目提出的科技含量及技术 111天津大学科技成果选编 112 背景来看，国内不存在竞争对手，而且随着公司的成立，公司对产品研发的进一 步深入，在未来 5 年内，本项目产品也必将在国际传感器行业中具有一席之地。 应用领域：1. 智能玩具；2. 交互式媒体互联网；3. 无人驾驶汽车；4. 医疗 领域远程医疗；5. 智能机器人皮肤等。