本发明公开了一种基于多感知数据融合的人机自然交互系统，包括MEMS手臂跟踪装置、视觉跟踪装置，以及安装在操作者的手掌上的力反馈装置，上述各装置由PC终端控制，PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；虚拟场景渲染模块根据手臂运动轨迹和手指运动轨迹生成虚拟手臂和手指，力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量；本发明可满足手臂大范围运动情况下的手臂运动轨迹的跟踪要求；其次，可通过图像信息测量操作者手指的运动轨迹，可精确测量手指上多个关节的角度；再者，可为操作者提供力反馈和虚拟场景的视觉反馈，增强系统的临场感、交互性。

一、项目简介 随着智能硬件的快速普及，人机交互方式发生了重大变革，迫切需要语音唤醒、近/远场语音识别、语音合成等语音交互关键技术，尤其要解决复杂场景下的识别鲁棒性等问题。 二、前期研究基础 已开发实现语音唤醒、命令词识别系统、多元麦克风阵列系统、云端“自由说”语音识别系统、基于深度学习的语音合成系统。 三、应用技术成果 应用开发方面，课题组与华为公司合作，研发语音交互关键技术，涉及语音唤醒、声纹识别、语音识别、麦克风阵列，已开发实现语音唤醒、声纹识别和麦阵语音识别系统，应用到智能手机、智能机器人等平台。 四、合作企业 华为技术有限公司是一家生产销售通信设备的民营通信科技公司，于1987年正式注册成立，总部位于中国深圳市龙岗区坂田华为基地。华为是全球领先的信息与通信技术（ICT）解决方案供应商，专注于ICT领域，坚持稳健经营、持续创新、开放合作，在电信运营商、企业、终端和云计算等领域构筑了端到端的解决方案优势，为运营商客户、企业客户和消费者提供有竞争力的ICT解决方案、产品和服务，并致力于使能未来信息社会、构建更美好的全联接世界。2013年，华为首超全球第一大电信设备商爱立信，排名《财富》世界500强第315位。目前，华为约有18万名员工，业务遍及全球170多个国家和地区，服务全世界三分之一以上的人口。

本项目建立了一个拟人化的人机交互系统，实现基于虚拟现实技术的手语合成、基于视觉感知的静态手势识别、基于图像和视频序列分析的表情识别以及基于正侧面相片拼接的表情合成等功能。获得8项国家计算机软件著作权，撰写了1部人机交互专著，获得2008年深圳市科技创新奖（第一），《手语翻译系统》和《手语教学系统》分别被评为2007年和2008年国家重点新产品，构建了《中国标准手语库》（共5587词）。 项目成果应用于智能人机接口、数字娱乐等领域。中央电视台一套《科技博览》作了题为“手语手机”的专题报

复杂信息系统人机交互数字界面已成为操作者获取信息、知识推理、判断决策的重要手段和操作依据。复杂信息系统人机交互界面在军事、信息安全、地理交通等诸多重要领域发挥着不可替代和非常重要的作用。该项技术首次综合信息编码、生态界面、认知摩擦、认知负荷和态势感知等关键理论和技术，构建了复杂系统信息流的功能结构模型，分析了复杂系统要素之间的层次结构和内联属性的复杂特征，提出了复杂系统“界面信息-视觉认知”映射模型的知识表征与规则推理，揭示了复杂系统数字界面从视觉信息认知到行为决策之间的映射关系，建立了复杂系统数字界面信息区块布局的空间与结构约束机制。本项技术首次融合脑电、眼动等多维度生理测评技术，提出了复杂信息系统数字界面的可用性评估体系。通过高时空分辨率的脑成像技术与眼球追踪技术相结合，共同揭示了人类在复杂系统数字界面认知各阶段的认知特性，分析了认知失误、认知困难等问题的生理学根源。该技术基于脑电ERP、眼球追踪等多维度融合的生理测评方法，对设计优化方案进行可用性评估，由此提出复杂信息系统数字界面设计的量化评估体系，提出了可实施的复杂系统数字界面设计优化方案。项目成果已成功运用到海、陆、空、航天等信息化装备上，全面提升了信息化装备的人机交互水平，保障了信息化装备整体性能和水平的充分发挥，提高了信息化装备操作绩效。取得突出成绩。应用前景广阔。

本系统基于北京航空航天大学模式识别与人工智能实验室的多模情感识别与情感表达融合技术，开发了基于3D仿生代理的多模情感人机交互系统。该系统具有情感感知与表达能力，能够通过采集用户的视音频信号，实时感知用户表情和语音中包含的六种基本情感信息（高兴、悲伤、惊讶、害怕、生气、嫌恶），识别准确率达到85%，并通过3D仿生代理生动的语音和肢体动作与用户进行自然和谐的对话交流。系统消耗资源少，适合移动平台；融合表情和语音进行决策级情感识别，识别率高；采用3D仿生代理，交互界面生动自然。该系统及相应情感感知技术可应用于新一代情感人机交互界面。本成果已获得授权发明专利2项，受理发明专利15项，申请国际发明专利2项。授权发明专利如下：一种鲁棒的人脸表情识别方法，ZL200810223211.6；汉语语音情感信息的提取及建模方法，ZL200810104541.3。

产品概述： 人体针灸穴位数字交互系统是依据全国中医药行业高等教育“十四五”规划教材《针灸学》等进行研发，结合最新的计算机和三维虚拟仿真技术，把腧穴的认穴识穴、针灸手法、针灸治疗、人体解剖等知识进行呈现。针灸穴位发光人模型根据真实人体比例制成，含肌肉解剖、经脉循行流注、经脉络属表里关系等专业知识，内置光电感应电路模拟人体穴位，可实现穴位发光、语音播报、模型同步跟随，形成了新的中医针灸穴位的互动教学模式，方便了老师教学和学生学习。 系统内容： *1.1.、系统包含十四经络和针灸治疗两大模块。 *1.2、十四经络：包含了手太阴肺经、手阳明大肠经等十四经络循行（古今）介绍、病候、主治、穴位、分寸等内容； *1.3、针灸治疗：涵盖六种疾病类型，上百种病症的定义、辨证、治疗、主穴、配穴、方义、操作等详细内容 *1.4、针刺视频：包含40多种针刺手法以及分布腧穴毫针刺法、局部多针刺法等视频教学，教学效果直观有效。 1.5、穴位详解：三维虚拟模型上详细展示人体≥800（包含双侧）个腧穴的名称、注音、国际代码、点位、解剖位置等信息。 *1.6、常见的危险穴位具有特殊标记，详细信息包含异常针刺情况表现及情况处理。 *1.7、配备腧穴的横断面或矢状面图谱，了解腧穴在皮下的解剖结构和针刺的入针情况。 二、实训功能： 2.1、可实现铜人模型上≥210个穴位灯光的实时操控。 *2.2、软硬件同步：穴位发光、声音、三维虚拟人体模型跳转同步控制。 2.3、腧穴播报：可在使用硬件操作时，系统可以自动实时播报腧穴名称等内容。 2.4、双向交互：软件可控制铜人穴位灯的开启与关闭，铜人穴位触控笔点亮穴位，软件中三维模型可跳转到相应位置，并播报其穴位名称。 *2.5、在没有与软件系统相连接时，用户也可使用穴位触控笔点亮铜人模型上的穴位灯光。 *2.6、单穴、多穴：可选择单穴或多穴模式，实现不同数量穴位灯光的开启与关闭。 *2.7、经络循行：通过三维动效形式展示。可通过软件系统操作数字虚拟模型的经络开关，点亮铜人上的一整个经络穴位，显示十二经脉循环流注，经脉络属表里对经关系，直观了解人体中医经络循行。 *2.8、铜人穴位灯光可实现经络的循行走向。 2.9、穴位灯光可实现闪动与常亮。 2.10、利用红、橙、蓝、绿四种颜色穴位灯进行经络及穴位区分。 2.11、复位功能：一键关闭硬件模型上所有的灯光显示。 2.12、系统具有示教、训练多种功能，根据需求，在软件功能里选择需要点亮标记的腧穴，进行相关的教学和训练。 *2.13、针灸治疗模块下，配合铜人模型可对不同病症的主穴或配穴的穴位灯单独显示。 *2.14、演示功能：可实现所属经络的穴位灯光循环闪动。 三、软件功能 *3.1、根据真实人体比例打造高仿真的三维人体数字模型，可进行任意角度旋转、放大、缩小、平移，可切换前、后、左、右、上、下六视图、对任意界面进行截图保存等多种操作等。 3.2、重置：一键重置三维模型至初始状态。 3.3、对称穴位：一键显示对侧的穴位，方便对侧穴位的定位和学习。 3.4、骨度分寸：根据当前学习的穴位，一键获得根据临近结构得出的分寸信息，更方便腧穴认知。 *3.5、透明度：可一键透明皮肤、肌肉、骨骼，也可以调节不同层度的透明度，方便学习人体的内部解剖结构的毗邻关系。 *3.6、搜索：输入穴位名称、拼音或代码，可在三维人体模型上快速定位到该穴位。 *3.7、系统：可以对皮肤、肌肉、骨骼、脏器、血管、神经等解剖系统进行隐藏和显示。 3.8、设置：多背景颜色设置，适配不同的操作场景。 3.9、界面清爽模式：一键隐藏所有功能选区，只显示三维虚拟模型，并可随时调取。 3.10、一键实现模型衣服的隐藏和显示，方便模型穴位的查看。 3.11、语音功能：针对详细注解内容，进行对应的语音讲解。 *3.12、具备模拟考试功能,自动从实训题库中随机选择5道题目，组成模拟卷，供随机练习。另具有危险穴位题库可供选择。 四、配置清单 4.1、65寸触摸一体机含支架。 4.2、主机：intel i5处理器、 8G 及以上内存、 500G SSD高速固态硬盘、独立显卡支持高清输出。 *4.3、仿古铜人模型：全铜打造，高度不低于168CM，重量不低于75kg. 五、中医针灸数字人系统V1.0 一套

一种基于单片机人机交互模块的飞锯机控制系统，它包括第一编码器、 第二编码器、可编程控制器PLC 和调速控制器，还包括人机交互模块HMI 和双极性模拟量输出模块，所述的第一编码器采集速度信号，第 一编码器 的输出端与PLC的信号输入端相连，PLC的信号端与HMI的控制信号端 相连，PLC的脉宽调制信号 输出端与双极性模拟量输出模块的信号输入端 相连，双极性模拟量输出模块的输出端与调速控制器的输入 端相连，调速 控制器的输出端控制飞锯机的电机速度，飞锯机的电机与第二编码器的相 连，第二编码器的反馈信号输出与PLC的反馈信号输入端相连。本实用新 型具有可靠性高、成本低的优点。

本发明公开了一种基于射频识别的人机交互系统及方法，人机 交互系统包括交互屏、协调器、读写器、卡套以及主机，交互屏由依 次连接的触摸屏、显示屏和射频天线层构成；协调器与天线层连接， 读写器与协调器连接；卡套包括指套以及位于指套中且携带有信息的 卡片，主机与读写器和交互屏连接，用于控制交互屏准确定位触点位 置、控制触点位置附近的天线开启、控制读写器检测卡套中卡片的信 息以及将触点和卡片信息绑定。本发明通过触摸屏感知用户触

突破了人机交互遥操作机器人的力感知、力反馈、力控制三大关键技术，研制成功人机交互遥操作的关键支撑设备，填补了国内空白。

感官控制的人机交互(human-machine interface, HMI)可以在人和外界 设备之间建立新的自然交流途径，有利于提高人们的生活品质，例如，有意识 地眨一下眼睛，即可开/关电灯。传统的采用眼为微弱的体表生物电信号，却 忽略了眨眼引起的太阳穴附近皮肤的微小运动。本项目采用摩擦纳米发电技术 (triboelectric nanogenerator, TENG ),设计一种微运动 / 位移传感器 (mechnosensationalENG, msTENG),对于该微小运动的探测有极高的灵敏度 (数百倍于同步眼电信号)，并且相对于传统的眼电探测电极具有更好的耐久 性和稳定性。通过与眼部巧妙的附着方式，获取高灵敏度和持久稳定的眨眼 信号采集，并将此眼部微动传感器用于人机交互，构建了眼动控制家用电器 和眼动虚拟打字界面等人机交互系统。这一研究的开展，给感官控制人机交 互领域注入了新的设计理念，使得通过眨眼来控制外部设备有希望从实验室走 向我们的日常生活。 关键技术： (1)  基于摩擦纳米发电技术的眼部微动传感器设计(包括工作模式的选择, 摩擦材料、电极材料的选择及加工等)以及器件制作工艺水平，都将直接影响 传感器的灵敏度、稳定性、美观舒适性，这在整个系统中是最为关键的技术。 (2)  眼部微动传感器在眼部周围附着方式的设计，需要保证器件的灵敏度、 信号的稳定性和操作的方便性，并考虑使用上的舒适美观。这是这项技术能否进 入人们实际生产生活的重要因素之一。 (3)  基于眼部微动传感器的人机交互界面的开发，要求功能适用、界面友 好、操作简易、性能稳定，便于正常人群和闭锁综合征LLock-in，)患者等特 殊人群的使用，这是这项技术具有重要应用前景的关键技术之一。创新点： (1)     首次将基于摩擦电和静电感应耦合的自驱动高灵敏传感器作为替 代传统生物电传感器应用于感官控制的人机交互系统，为人工智能领域注入了 新的传感器设计理念。 (2)     将基于摩擦电和静电感应耦合的自驱动眼部微动传感器巧妙地固 定在眼镜架上，并做到位置可微调，对比传统的眼电传感器将多电极贴在眼部 附近，不仅美观舒适、成本低廉和操作简单，而且采集的信号灵敏度高，信号 输出稳定可靠。 (3)     摩擦电和静电感应耦合的传感技术，采用的单电极信号采集，直 接采集微运动引起的电信号，从信号采集源头上突破了传统的生物电信号采集 弊端(采集多电极间势差变化信号)，可提高传感器的灵敏度数百倍。因此，避 免了传统眼电系统中精准识别算法的开发和严格操作技术的培训等。市场及经济效益分析： 基于摩擦纳米发电技术的微动传感器制作成本低廉，因其高灵敏度和 可靠性带来的后端设备简化，以及其操作的简易性和侃戴的美观舒适性，都 将促成该项研究成果走出实验室服务于广大群众，特别是渴望与外界因此具有非常大的市场价值。恢复交流的特殊疾病患者们，而这一群体在中国高达20 万人并有逐年上升的趋势。