天津大学神经工程团队针对人机交互面临的神经系统层面交互信息复杂共性挑战，历时十余年，发明了一套面向高性能人机交互的脑-机-体复合神经感知与反馈的系统解决

一、项目简介 随着智能硬件的快速普及，人机交互方式发生了重大变革，迫切需要语音唤醒、近/远场语音识别、语音合成等语音交互关键技术，尤其要解决复杂场景下的识别鲁棒性等问题。 二、前期研究基础 已开发实现语音唤醒、命令词识别系统、多元麦克风阵列系统、云端“自由说”语音识别系统、基于深度学习的语音合成系统。 三、应用技术成果 应用开发方面，课题组与华为公司合作，研发语音交互关键技术，涉及语音唤醒、声纹识别、语音识别、麦克风阵列，已开发实现语音唤醒、声纹识别和麦阵语音识别系统，应用到智能手机、智能机器人等平台。 四、合作企业 华为技术有限公司是一家生产销售通信设备的民营通信科技公司，于1987年正式注册成立，总部位于中国深圳市龙岗区坂田华为基地。华为是全球领先的信息与通信技术（ICT）解决方案供应商，专注于ICT领域，坚持稳健经营、持续创新、开放合作，在电信运营商、企业、终端和云计算等领域构筑了端到端的解决方案优势，为运营商客户、企业客户和消费者提供有竞争力的ICT解决方案、产品和服务，并致力于使能未来信息社会、构建更美好的全联接世界。2013年，华为首超全球第一大电信设备商爱立信，排名《财富》世界500强第315位。目前，华为约有18万名员工，业务遍及全球170多个国家和地区，服务全世界三分之一以上的人口。

本发明公开了一种基于多感知数据融合的人机自然交互系统，包括MEMS手臂跟踪装置、视觉跟踪装置，以及安装在操作者的手掌上的力反馈装置，上述各装置由PC终端控制，PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；虚拟场景渲染模块根据手臂运动轨迹和手指运动轨迹生成虚拟手臂和手指，力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量；本发明可满足手臂大范围运动情况下的手臂运动轨迹的跟踪要求；其次，可通过图像信息测量操作者手指的运动轨迹，可精确测量手指上多个关节的角度；再者，可为操作者提供力反馈和虚拟场景的视觉反馈，增强系统的临场感、交互性。

 本课题针对太空服务机器人感知系统开展研究工作，重点研究基于脑电、肌电生物电信号及语音信号的多模式、微型化、智能化的人机交互接口系统，以快速、可靠地提取并识别脑电、肌电、语音信号，将之转换为太空服务机器人的作业任务和动作指令，并通过已开发的服务机器人验证模拟航天特因环境下该系统的可行性，探索多模式人机交互接口技术的实用化方法，为我国出舱活动机器人未来可在载人航天工程中应用提供可行性技术依据。 课题组在系统的研发和测试过程中，同中国人民解放军航天员科研训练中心进行卓有成效的合作，项目所开发的多模式微型化人机交互平台在航天员科研训练中心航天特因模拟环境下进行各项测试。测试结果表明，项目开发的样机已经具备航天特因模拟环境所要求的技术特征。该系统的研发成功，将推动多模式脑机接口技术在航空航天领域的应用。

依托互联网、大数据、云计算的发展，将云交互技术应用于“班班通”数字教室建设，通过开发长虹云智能交互教学电视系统平台，实现教学资源、应用软件、信息收集和分析、教学多系统、多软件融合等的云端管理。 云智能交互一体机 硬件资源充分利用 桌面资源高效利用 终端零运维 节能底噪 快速扩展：VGA扩展，HDMI扩展、唤醒 ※无需PC，在云智能交互一体机上调用Windows系统和各种教学应用软件实现教学，教学流畅度等同于PC。 云直播 远程教学互动 精品课件资源共享 精品课件直播/录播/存储 ※可以实现全校师生的培训会、安全知识宣讲、校长讲话、同一年级学生共享一堂优质的教学课程等，通过这套云直播系统，将主播讲话者的图像和声音直接实时的播放。从而实现优质教学资源共享，实现全校师生随时随地教室可共享会议。 云办公 桌面虚拟化 服务虚拟化 信息资源共享 ※可以利用虚拟化终端加显示器实现云办公，也可以在大屏触摸一体机上登录实现云桌面资源调取使用。 云空间 统一账号认证 个人空间储备 集体备课，共享资源 安全高效，校本资源累计 ※利用云交互平台的服务器，把学校的优质资源、学校通知，精品作文、教师的备授课资源等放到这个系统上面，做到相互分享下载使用。 云集控 设备管控 状态监测 信息收集发布 ※利用集中控制实现对众多云终端的管理和控制，方便用户对设备进行有效的控制、管理、维护。

成果描述：本实用新型公开一种无人机的飞控系统,包括主控单元,还包括：分别与所述主控单元电气连接的遥控接收单元、IMU单元、卫星定位单元、OSD单元、数传单元、ESC单元、ADC单元、存储单元及人机交互单元；其中,所述ADC单元与24GHz#Radar传感器、空速传感器、电流传感器电气连接,该电流传感器还与所述ESC单元电气连接。该无人机的飞控系统负责飞控系统物理层数据收发及其管理。本实用新型还公开一种无人机,包括上述结构的无人机的飞控系统。市场前景分析：本实用新型还公开一种无人机,包括上述结构的无人机的飞控系统。与同类成果相比的优势分析：国内领先

1.痛点问题 协作机器人与人类共享工作空间，通过直接（即物理上）或间接地与人类交互共同开展操作任务。相比传统工业机器人，协作机器人有更高的安全性和更易于编程的特点，能够通过人类示教部署于各种不同的任务并灵活地与人类配合。随着传统工业机器人带来的效率提升趋于饱和，能够安全配合人类的协作机器人能够进一步提高制造业的生产效率，带来可观的经济效益。然而，现有的协作机器人存在以下两大痛点问题。 问题一：安全和效率之间的权衡一直是人机交互中未系统解决的开放性问题。当存在人机直接接触时，为了保证人的安全，现有的协作机器人是通过中止正在进行的任务、顺从人的干预以保证安全；然而，不论人是有意地干预（即工人直接抓取机械臂来引导其任务）还是无意地接触机器人，都将造成机器人暂停手头工作；直到人类停止干预，机器人才能继续执行它的任务。虽然这种人机协作方式能够保证机器人与工人合作的安全，但因为机器人需要在不同的工作模式之间切换，其工作效率将会受到影响。 问题二：如何提高人的示教效率为协作机器人的另一大痛点问题。协同机器人多用于能够灵活拆装的生产线，以适应新的任务，因此新任务的编程效率很大程度上决定了工作效率。基于人类示教的编程方式具有自然、本能的优势，能够直接传递人类的操作技巧与经验。其中，将示教轨迹参数化为可以编辑修改、适应不同任务的形式是提高效率的核心问题。该示教轨迹不光应该包含机器人末端的运动数据，而且应该包含同时调整的冗余关节运动数据，从而同时完成末端主任务与关节避障任务，以适应工作环境。现有的示教方式未能结合离线示教与在线介入，因此无法适用于需要同时记录机器人末端和关节的示教任务。 2.解决方案 本项成果基于增强现实-触觉感知技术，开发了混合交互接口与人机互补操作算法，以解决上述痛点问题。 ①对于问题一，本项成果提出了自适应视觉控制与零空间阻尼控制的协作框架：在有限视场、未校正相机、关节奇异的情况下，保证了机器人在整个工作空间内的全局稳定性；在不影响机器人末端任务的前提下，允许人类专家随时、安全地介入以改变机器人关节姿态，以应对环境动态变化或突发事件，从而实现了安全与效率并重的人机协作方式。 ②对于问题二，本项成果构建了增强现实-触觉感知的混合接口，让人类专家可以在任务和冗余联合空间进行双手演示，同时记录机器人末端与机器人关节的数据。示教轨迹基于DMP方法进行参数化，能够根据不同任务所需的末端位置、关节角度、运动速度进行自适应调整，在保证末端任务精度的同时完成关节的避障任务。 技术核心： ①基于增强现实-触觉感知的混合交互接口; ②用于双手示教的机器人轨迹学习方法; ③自适应全局稳定控制算法。 预期产品：用于人机互补协同操作的设备与软件 3.合作需求 1)资金需求：本项成果开发的人机互补协作平台，在硬件与软件研发阶段需要资金投入，需约250-500万元人民币； 2)孵化资源：公司研发所需办公及研发场地、实验室、分析与测试实验室等； 3)团队：协作平台开发团队、商务开发与合作团队、财务、法务等支持团队； 4)生产制造企业合作：提供人机协同操作的场景与需求，开展工厂真实环境的测试与部署； 5)基础研究合作：与协作机器人、增强现实、触觉感知方向的国内外基础研究团队合作，开发新的交互设备与算法。

   历史交互教学系统通过超宽屏投影、集成多点触控实现多种资料同时呈现的效果，具有震撼的视觉效果和强大的实时交互功能。该系统软件为历史教师提供了历史工具、历史专用板书以及画笔软件。历史工具软件用于教师备课环节，历史专用板书和画笔软件用于课上教学使用。历史工具软件中的历史资源库，包括文字、图片、视频、动画、3D文物模型等资源，教师可将选定的资源一键插入课件中。历史专用板书软件是专门为历史教师设计的课堂板书工具，具有功能实用、操作简单，书写流畅的特点。

教学覆盖面广、软件功能强大、地图编辑简单易用       中教启星交互地图教学系统是专为现代信息化地理教室而设计的数字化现代教育装备产品。本系统为凸显地图在地理课堂教学中突出地位和功能而潜心设计制作，它将数字专题地图与教学课件有机结合，通过超宽屏投影技术、集成触控技术、红外技术和多屏联动技术等多种技术，突破了传统教室在区域地理呈现方式上的局限性和不足。 功能特点    1、独具创新的硬件和软件应用设计，结合数字星球系统与多屏联动技术，实现平面到立体的认识构建；    2、丰富的配套课程资源，满足小学、初中、高中地理教学需求，实现世界地理、中国地理和区域地理的教学资源全覆盖；    3、软件功能贴合教学需求，地图资源可自主编辑、组合、添加， 具有强大的交互能力；    4、地图编辑简单易用，多图层叠加，适用于地理现象成因分析，有效突破地理教学的难点；    5、开放性平台设计，支持自主设计以及地图分享。 系统组成     ● 超宽屏激光投影机1台 + 电脑1台     ● 投影白板+书写白板     ● 软件：中教启星课件制作工具+中教启星地图编辑工具+丰富的配套资源 课程资源

针对无人机面临的网络与系统层面的安全威胁，在 GF 基础科研、装备预研项目等重大项目支撑下，研发了具有完全自主知识产权的无人机安全防护系统，从无人机系统安全、无人机通信安全、无人机应用安全三大安全需求出发，突破了飞控形式化建模及代码自动生成、安全形式化验证、可信计算、区块链等关键技术，发明了满足安全与安保需求的飞控系统代码自动化生成技术，实现了符合实时性要求的无人机飞控系统安全性验证与运行监控，实现构建了“开发 - 运行 - 维护”的飞控系统全生命周期的一体化一体化无人系统安全防御体系。 截止目前，无人机安全防护系统已经历技术研发、原理样机开发两个阶段，技术成熟度达到 4 级，相关技术已应用于国产大飞机 C919、国产嵌入式操作系统“天脉”，持续深入推进军民融合协同发展。 主要技术指标 在无人机飞行控制系统开发阶段，从安全与安保需求出发，支持对无人机飞控模块进行形式化建模及关键软件组件的代码自动化生成，并且对自动生成的飞控核心代码进行自动化及组合验证，覆盖率不小于 90%；在运行阶段，基于可信计算及分区隔离技术，无人机安全防护系统的动态安全事件响应速度小于 500ms；并且，针对无人机集群以、无人机与地面站通信两种应用场景，支持机 - 站接入认证及批量认证、机群群组密钥管理，安全性至少达到 80bit 安全。