一、项目简介 随着智能硬件的快速普及，人机交互方式发生了重大变革，迫切需要语音唤醒、近/远场语音识别、语音合成等语音交互关键技术，尤其要解决复杂场景下的识别鲁棒性等问题。 二、前期研究基础 已开发实现语音唤醒、命令词识别系统、多元麦克风阵列系统、云端“自由说”语音识别系统、基于深度学习的语音合成系统。 三、应用技术成果 应用开发方面，课题组与华为公司合作，研发语音交互关键技术，涉及语音唤醒、声纹识别、语音识别、麦克风阵列，已开发实现语音唤醒、声纹识别和麦阵语音识别系统，应用到智能手机、智能机器人等平台。 四、合作企业 华为技术有限公司是一家生产销售通信设备的民营通信科技公司，于1987年正式注册成立，总部位于中国深圳市龙岗区坂田华为基地。华为是全球领先的信息与通信技术（ICT）解决方案供应商，专注于ICT领域，坚持稳健经营、持续创新、开放合作，在电信运营商、企业、终端和云计算等领域构筑了端到端的解决方案优势，为运营商客户、企业客户和消费者提供有竞争力的ICT解决方案、产品和服务，并致力于使能未来信息社会、构建更美好的全联接世界。2013年，华为首超全球第一大电信设备商爱立信，排名《财富》世界500强第315位。目前，华为约有18万名员工，业务遍及全球170多个国家和地区，服务全世界三分之一以上的人口。

天津大学神经工程团队针对人机交互面临的神经系统层面交互信息复杂共性挑战，历时十余年，发明了一套面向高性能人机交互的脑-机-体复合神经感知与反馈的系统解决

 本课题针对太空服务机器人感知系统开展研究工作，重点研究基于脑电、肌电生物电信号及语音信号的多模式、微型化、智能化的人机交互接口系统，以快速、可靠地提取并识别脑电、肌电、语音信号，将之转换为太空服务机器人的作业任务和动作指令，并通过已开发的服务机器人验证模拟航天特因环境下该系统的可行性，探索多模式人机交互接口技术的实用化方法，为我国出舱活动机器人未来可在载人航天工程中应用提供可行性技术依据。 课题组在系统的研发和测试过程中，同中国人民解放军航天员科研训练中心进行卓有成效的合作，项目所开发的多模式微型化人机交互平台在航天员科研训练中心航天特因模拟环境下进行各项测试。测试结果表明，项目开发的样机已经具备航天特因模拟环境所要求的技术特征。该系统的研发成功，将推动多模式脑机接口技术在航空航天领域的应用。

本发明公开了一种基于多感知数据融合的人机自然交互系统，包括MEMS手臂跟踪装置、视觉跟踪装置，以及安装在操作者的手掌上的力反馈装置，上述各装置由PC终端控制，PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；虚拟场景渲染模块根据手臂运动轨迹和手指运动轨迹生成虚拟手臂和手指，力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量；本发明可满足手臂大范围运动情况下的手臂运动轨迹的跟踪要求；其次，可通过图像信息测量操作者手指的运动轨迹，可精确测量手指上多个关节的角度；再者，可为操作者提供力反馈和虚拟场景的视觉反馈，增强系统的临场感、交互性。

1.痛点问题 协作机器人与人类共享工作空间，通过直接（即物理上）或间接地与人类交互共同开展操作任务。相比传统工业机器人，协作机器人有更高的安全性和更易于编程的特点，能够通过人类示教部署于各种不同的任务并灵活地与人类配合。随着传统工业机器人带来的效率提升趋于饱和，能够安全配合人类的协作机器人能够进一步提高制造业的生产效率，带来可观的经济效益。然而，现有的协作机器人存在以下两大痛点问题。 问题一：安全和效率之间的权衡一直是人机交互中未系统解决的开放性问题。当存在人机直接接触时，为了保证人的安全，现有的协作机器人是通过中止正在进行的任务、顺从人的干预以保证安全；然而，不论人是有意地干预（即工人直接抓取机械臂来引导其任务）还是无意地接触机器人，都将造成机器人暂停手头工作；直到人类停止干预，机器人才能继续执行它的任务。虽然这种人机协作方式能够保证机器人与工人合作的安全，但因为机器人需要在不同的工作模式之间切换，其工作效率将会受到影响。 问题二：如何提高人的示教效率为协作机器人的另一大痛点问题。协同机器人多用于能够灵活拆装的生产线，以适应新的任务，因此新任务的编程效率很大程度上决定了工作效率。基于人类示教的编程方式具有自然、本能的优势，能够直接传递人类的操作技巧与经验。其中，将示教轨迹参数化为可以编辑修改、适应不同任务的形式是提高效率的核心问题。该示教轨迹不光应该包含机器人末端的运动数据，而且应该包含同时调整的冗余关节运动数据，从而同时完成末端主任务与关节避障任务，以适应工作环境。现有的示教方式未能结合离线示教与在线介入，因此无法适用于需要同时记录机器人末端和关节的示教任务。 2.解决方案 本项成果基于增强现实-触觉感知技术，开发了混合交互接口与人机互补操作算法，以解决上述痛点问题。 ①对于问题一，本项成果提出了自适应视觉控制与零空间阻尼控制的协作框架：在有限视场、未校正相机、关节奇异的情况下，保证了机器人在整个工作空间内的全局稳定性；在不影响机器人末端任务的前提下，允许人类专家随时、安全地介入以改变机器人关节姿态，以应对环境动态变化或突发事件，从而实现了安全与效率并重的人机协作方式。 ②对于问题二，本项成果构建了增强现实-触觉感知的混合接口，让人类专家可以在任务和冗余联合空间进行双手演示，同时记录机器人末端与机器人关节的数据。示教轨迹基于DMP方法进行参数化，能够根据不同任务所需的末端位置、关节角度、运动速度进行自适应调整，在保证末端任务精度的同时完成关节的避障任务。 技术核心： ①基于增强现实-触觉感知的混合交互接口; ②用于双手示教的机器人轨迹学习方法; ③自适应全局稳定控制算法。 预期产品：用于人机互补协同操作的设备与软件 3.合作需求 1)资金需求：本项成果开发的人机互补协作平台，在硬件与软件研发阶段需要资金投入，需约250-500万元人民币； 2)孵化资源：公司研发所需办公及研发场地、实验室、分析与测试实验室等； 3)团队：协作平台开发团队、商务开发与合作团队、财务、法务等支持团队； 4)生产制造企业合作：提供人机协同操作的场景与需求，开展工厂真实环境的测试与部署； 5)基础研究合作：与协作机器人、增强现实、触觉感知方向的国内外基础研究团队合作，开发新的交互设备与算法。

实现非特定人的自然流畅的对话，准确率在99%以上，内容在600句话以上，同时可以发出男声、女声、卡通声等合成效果，具备5种语言以上的语音表达能力（汉语、英语、日语、韩语、阿拉伯语）；在此基础上，完成10种以上不同情绪的语音表达。图像处理方面，基于场馆内光线条件，实现非特定人的人脸识别，准确率在95%以上，同时完成6种以上的典型表情识别，5种以上基于典型情绪的特定行为理解，准确率93%以上。在脸部有17个自由度，与人工皮肤材料有机配合，完成10种以上的表情生成，躯干部分由高性能伺服控制系统进行驱动，完成21个自由度的灵活运动控制，过载能力（190%，1分钟），调速范围（0%-110%额定速度），恢复时间（300毫秒以内），速度超调（2%以内），电流超调（13%以内），加减速时间（6秒以内）。数据库可以进行实时更新，数据信息内容在10000条以上，通过无线局域网完成，智能库可以根据现场制订规则，相应的响应时间在600毫秒以内。可以和展区内全能机器人、变形金刚等设备进行互联，实时响应时间小于500毫秒。该技术可应用于炼钢铁水的脱硫和化铁炉铸造用铁水的脱硫等领域。

成果描述：本实用新型公开一种无人机的飞控系统,包括主控单元,还包括：分别与所述主控单元电气连接的遥控接收单元、IMU单元、卫星定位单元、OSD单元、数传单元、ESC单元、ADC单元、存储单元及人机交互单元；其中,所述ADC单元与24GHz#Radar传感器、空速传感器、电流传感器电气连接,该电流传感器还与所述ESC单元电气连接。该无人机的飞控系统负责飞控系统物理层数据收发及其管理。本实用新型还公开一种无人机,包括上述结构的无人机的飞控系统。市场前景分析：本实用新型还公开一种无人机,包括上述结构的无人机的飞控系统。与同类成果相比的优势分析：国内领先

基于图像处理和机器学习进行人眼特征提取与分析，建 立基于特征模型与外观模型融合的智能视觉感知机制，并通过 海量大数据分析和建模计算，提出了智能视觉感知驱动的眼动 注视点计算方法，解决了跨设备坐标系空间无缝转换和多用户 标定模型共享等关键“卡脖子”技术问题。此外，提出基于深 度学习的运动想象脑电分类方法，面向人-机器人交互开发了 智能脑机接口与应用系统。 ：

产品展示 　　产品特点 　　触控录播主机 　　高度集成 集成触控录播、远程互动、实时导播、音频处理等功能 　　自动混音 内置数字音频处理模块，智能处理，让老师声音更清晰 　　简单易用 人性化设计，一键即可启用录播，操作便捷，享用随心 　　4K 极清摄像机 　　成像清晰 最大可提供4K@30fps图像编码输出 　　单机双景 两台摄像机即可实现师生全景/特写四景位之间的无缝切换 　　布置简易 供电、控制、传输，一线完成 　　数字全向拾音麦 　　全向拾音 360°超大范围拾音，拾音半径达8m，覆盖面积达200m2 　　智能跟踪 焦点自动追踪当前发言人，优化音频采集，真实还原声音 　　支持级联 支持拾音麦级联，网线串联等功能，满足大课室不同需求

移动互联网的发展将互联网带入了人们的日常生活，而移动应用软件是最关键的载体。移动应用以其特有的优质性能、可靠性和安全性、低廉的成本以及良好的可扩展性，成为未来软件行业的主流趋势。同时，移动应用软件开发周期相对较短、门槛较低，应用数量发展迅猛，使得同质化现象严重。如何保证移动应用的质量成为一个非常值得研究的问题，具有巨大的市场价值，同时也影响到人民大众的日常生活，关系到国计民生。随着自动化测试的巨大发展，移动应用自动化测试取得了很大进展，但是自动化测试