手势交互式新一代智能人机交互的重要发展方向之一，在可穿戴设备、智能电视、数字娱乐等领域有重要的应用价值。本成果以摄像头作为硬件平台，从第一视角出发，设计实现了高性能手势跟踪及识别技术；利用深度卷积神经网络技术，研发了自主知识产权的鲁棒人手检测、人手跟踪、手指检测等关键技术，能够很好地提取出指尖特征和手势特征，从而实现在第一视角下人手高性能准确检测和手势检测，实现了第一视角下的空中手写创新应用示范系统。 相关技术获得多项省级以上科技创新竞赛一等奖，申请了发明专利8项，发表学术

本项目建立了一个拟人化的人机交互系统，实现基于虚拟现实技术的手语合成、基于视觉感知的静态手势识别、基于图像和视频序列分析的表情识别以及基于正侧面相片拼接的表情合成等功能。获得8项国家计算机软件著作权，撰写了1部人机交互专著，获得2008年深圳市科技创新奖（第一），《手语翻译系统》和《手语教学系统》分别被评为2007年和2008年国家重点新产品，构建了《中国标准手语库》（共5587词）。 项目成果应用于智能人机接口、数字娱乐等领域。中央电视台一套《科技博览》作了题为“手语手机”的专题报

作为计算机视觉和模式识别领域中最为成功的应用之一，生物特征识别技术一直受到学术界和业界非常高的重视，生物特征识别技术应用领域非常广泛，比如法律执行部门、军事、政府部门、金融服务、游戏产业、医疗产业、高科技与电信产业、工业制造、零售业、旅游和运输业等。

本发明公开了一种面向人机交互的“1”手势识别方法，可应用于手机、电脑、电视等电子产品的操控。该方法步骤如下：人脸检测，拳头检测，肤色标记，亮度计算。本发明在手势识别过程中，将摄像头采集到的 YUV 视频帧图像中的亮度信息 Y 与颜色信息 UV 独立开来，先利用 UV 通道信息进行肤色的点的采集以及标记，再利用 Y 通道亮度信息进行进一步的判断；其中 UV 通道信息将肤色点与非肤色点区分开，Y 通道信息将与肤色点相近的

一、项目分类 关键核心技术突破 二、成果简介 智能交互织物是未来纺织品发展的重要趋势，是目前广受产学界追捧的前沿科技领域之一。随着新型智能织物的出现以及传感器和人工智能技术的发展，智能交互织物领域实现了新的突破。新型智能交互织物将可穿戴织物与传感器、人工智能等技术相结合，具有可穿戴、智能、灵活、自适应的性能，能够更好地满足人们的需求。智能交互织物主要技术原理为利用柔性织物传感器件实现对人体多种信号的采集，然后通过WiFi、蓝牙等无线传输模式实现对信号数据的实时传输，再利用机器学习和神经网络等算法实现对所采集数据的分类处理，最后将处理后的信号利用实时可视化界面进行展示，从而实现更智能的人机交互。与传统织物相比，新型智能交互织物采用新一代智能纤维制成，并嵌入了多样化的微传感器技术，实现了将可穿戴织物与传感器、人工智能等计算机技术完美融合。具有可穿戴、智能、灵活、适应性强等特性，能够更好地满足社会需求，更容易被用户接受。智能织物的出现，标志着传统纺织业与电子技术、制造技术、传感器技术、人工智能技术、物联网技术等新兴科技的进一步融合。

产品概述： 人体针灸穴位数字交互系统是依据全国中医药行业高等教育“十四五”规划教材《针灸学》等进行研发，结合最新的计算机和三维虚拟仿真技术，把腧穴的认穴识穴、针灸手法、针灸治疗、人体解剖等知识进行呈现。针灸穴位发光人模型根据真实人体比例制成，含肌肉解剖、经脉循行流注、经脉络属表里关系等专业知识，内置光电感应电路模拟人体穴位，可实现穴位发光、语音播报、模型同步跟随，形成了新的中医针灸穴位的互动教学模式，方便了老师教学和学生学习。 系统内容： *1.1.、系统包含十四经络和针灸治疗两大模块。 *1.2、十四经络：包含了手太阴肺经、手阳明大肠经等十四经络循行（古今）介绍、病候、主治、穴位、分寸等内容； *1.3、针灸治疗：涵盖六种疾病类型，上百种病症的定义、辨证、治疗、主穴、配穴、方义、操作等详细内容 *1.4、针刺视频：包含40多种针刺手法以及分布腧穴毫针刺法、局部多针刺法等视频教学，教学效果直观有效。 1.5、穴位详解：三维虚拟模型上详细展示人体≥800（包含双侧）个腧穴的名称、注音、国际代码、点位、解剖位置等信息。 *1.6、常见的危险穴位具有特殊标记，详细信息包含异常针刺情况表现及情况处理。 *1.7、配备腧穴的横断面或矢状面图谱，了解腧穴在皮下的解剖结构和针刺的入针情况。 二、实训功能： 2.1、可实现铜人模型上≥210个穴位灯光的实时操控。 *2.2、软硬件同步：穴位发光、声音、三维虚拟人体模型跳转同步控制。 2.3、腧穴播报：可在使用硬件操作时，系统可以自动实时播报腧穴名称等内容。 2.4、双向交互：软件可控制铜人穴位灯的开启与关闭，铜人穴位触控笔点亮穴位，软件中三维模型可跳转到相应位置，并播报其穴位名称。 *2.5、在没有与软件系统相连接时，用户也可使用穴位触控笔点亮铜人模型上的穴位灯光。 *2.6、单穴、多穴：可选择单穴或多穴模式，实现不同数量穴位灯光的开启与关闭。 *2.7、经络循行：通过三维动效形式展示。可通过软件系统操作数字虚拟模型的经络开关，点亮铜人上的一整个经络穴位，显示十二经脉循环流注，经脉络属表里对经关系，直观了解人体中医经络循行。 *2.8、铜人穴位灯光可实现经络的循行走向。 2.9、穴位灯光可实现闪动与常亮。 2.10、利用红、橙、蓝、绿四种颜色穴位灯进行经络及穴位区分。 2.11、复位功能：一键关闭硬件模型上所有的灯光显示。 2.12、系统具有示教、训练多种功能，根据需求，在软件功能里选择需要点亮标记的腧穴，进行相关的教学和训练。 *2.13、针灸治疗模块下，配合铜人模型可对不同病症的主穴或配穴的穴位灯单独显示。 *2.14、演示功能：可实现所属经络的穴位灯光循环闪动。 三、软件功能 *3.1、根据真实人体比例打造高仿真的三维人体数字模型，可进行任意角度旋转、放大、缩小、平移，可切换前、后、左、右、上、下六视图、对任意界面进行截图保存等多种操作等。 3.2、重置：一键重置三维模型至初始状态。 3.3、对称穴位：一键显示对侧的穴位，方便对侧穴位的定位和学习。 3.4、骨度分寸：根据当前学习的穴位，一键获得根据临近结构得出的分寸信息，更方便腧穴认知。 *3.5、透明度：可一键透明皮肤、肌肉、骨骼，也可以调节不同层度的透明度，方便学习人体的内部解剖结构的毗邻关系。 *3.6、搜索：输入穴位名称、拼音或代码，可在三维人体模型上快速定位到该穴位。 *3.7、系统：可以对皮肤、肌肉、骨骼、脏器、血管、神经等解剖系统进行隐藏和显示。 3.8、设置：多背景颜色设置，适配不同的操作场景。 3.9、界面清爽模式：一键隐藏所有功能选区，只显示三维虚拟模型，并可随时调取。 3.10、一键实现模型衣服的隐藏和显示，方便模型穴位的查看。 3.11、语音功能：针对详细注解内容，进行对应的语音讲解。 *3.12、具备模拟考试功能,自动从实训题库中随机选择5道题目，组成模拟卷，供随机练习。另具有危险穴位题库可供选择。 四、配置清单 4.1、65寸触摸一体机含支架。 4.2、主机：intel i5处理器、 8G 及以上内存、 500G SSD高速固态硬盘、独立显卡支持高清输出。 *4.3、仿古铜人模型：全铜打造，高度不低于168CM，重量不低于75kg. 五、中医针灸数字人系统V1.0 一套

本发明提供一种基于RGB-D图像的手势检测方法，其能有效地分割出人手区域，具有分割准确，即使在手部发生部分自遮挡或者背景中有其他人干扰时也能得到好的手势分割，且算法鲁棒性好。人机交互接口需要尽可能直观和自然。用户与机器进行交互，不需要繁琐的设备(如彩色标记或手套)或装置像遥控器、鼠标和键盘。手势可提供一个与机器智能相结合的简单沟通方式。本发明可广泛应用到各种研究和工业领域，例如：游戏控制、虚拟环境、智能家居和手语识别等等。

一、项目简介 随着智能硬件的快速普及，人机交互方式发生了重大变革，迫切需要语音唤醒、近/远场语音识别、语音合成等语音交互关键技术，尤其要解决复杂场景下的识别鲁棒性等问题。 二、前期研究基础 已开发实现语音唤醒、命令词识别系统、多元麦克风阵列系统、云端“自由说”语音识别系统、基于深度学习的语音合成系统。 三、应用技术成果 应用开发方面，课题组与华为公司合作，研发语音交互关键技术，涉及语音唤醒、声纹识别、语音识别、麦克风阵列，已开发实现语音唤醒、声纹识别和麦阵语音识别系统，应用到智能手机、智能机器人等平台。 四、合作企业 华为技术有限公司是一家生产销售通信设备的民营通信科技公司，于1987年正式注册成立，总部位于中国深圳市龙岗区坂田华为基地。华为是全球领先的信息与通信技术（ICT）解决方案供应商，专注于ICT领域，坚持稳健经营、持续创新、开放合作，在电信运营商、企业、终端和云计算等领域构筑了端到端的解决方案优势，为运营商客户、企业客户和消费者提供有竞争力的ICT解决方案、产品和服务，并致力于使能未来信息社会、构建更美好的全联接世界。2013年，华为首超全球第一大电信设备商爱立信，排名《财富》世界500强第315位。目前，华为约有18万名员工，业务遍及全球170多个国家和地区，服务全世界三分之一以上的人口。

项目成果/简介: 本技术基于人体肌肉运动生理学原理，在肌纤维处施加一定模式的电刺激信号可使肌肉发生收缩和拉伸等动作，从而使人产生自主肌体运动或使皮肤触觉小体产生特定的触觉感应。采用穿戴式柔性新型电极阵列实施电刺激，并研究多种用于力触觉反馈的电刺激模式组合，简单易行、轻巧方便、力触觉感应分辨率高，增强虚拟场景沉浸感。同时通过不同的电极阵列结构、材质、形态设计，丰富电刺激模式库，提高力触觉反馈的时间和空间准确度。 虚拟现实力触觉反馈交互技术可用于虚拟现实游戏、虚拟现实教育培训、虚拟制造等领域，也可以用于煤矿、安防等高风险领域，以及电影技术。电刺激肱二头肌力反馈交互虚拟拉弓场景交互知识产权类型:发明专利技术先进程度:达到国内领先水平成果获得方式:独立研究获得政府支持情况:无

本技术基于人体肌肉运动生理学原理，在肌纤维处施加一定模式的电刺激信号可使肌肉发生收缩和拉伸等动作，从而使人产生自主肌体运动或使皮肤触觉小体产生特定的触觉感应。采用穿戴式柔性新型电极阵列实施电刺激，并研究多种用于力触觉反馈的电刺激模式组合，简单易行、轻巧方便、力触觉感应分辨率高，增强虚拟场景沉浸感。同时通过不同的电极阵列结构、材质、形态设计，丰富电刺激模式库，提高力触觉反馈的时间和空间准确度。 虚拟现实力触觉反馈交互技术可用于虚拟现实游戏、虚拟现实教育培训、虚拟制造等领域，也可以用于煤矿、安防等高风险领域，以及电影技术。 电刺激肱二头肌力反馈交互 虚拟拉弓场景交互