Ø  成果简介：增强现实(Augmented Reality，简称AR)是近年来国外众多知名大学和研究机构的研究热点之一。该技术借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，并通过传感技术将虚拟对象准确“放置”在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者一个感官效果真实的新环境。因此增强现实系统具有虚实结合、实时交互、三维注册的新特点。Ø  项目来源：国家863目标导向项目，国家自然科学基金仪器专项等。

成果简介：增强现实(Augmented Reality，简称 AR)是近年来国外众多知名 大学和研究机构的研究热点之一。该技术借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，并通过传感技术将虚拟对象准确“放置” 在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使 用者一个感官效果真实的新环境。因此增强现实系统具有虚实结合、实时交 互、三维注册的新特点。 项目来源：国家 863 

增强现实（AR）虚拟拆装训练系统是基于AR增强现实技术和虚拟仿真技术开发，具有真实模拟现场场景设备及部件、自然交互拆装训练的功能。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。通过头盔、触笔、手机等交互外设，开发匹配的展示资源，实现360度立体化的展示效果和沉浸式的拆装效果。让学生体验新技术魅力的同时学习到设备部件组成、结构原理及其拆装技能，提升了学生理论联系实际的能力。

视觉扫描建模：研发形成基于子地图的大尺度环境扫描建模，实现了多人协同的多阶段地图创建、拓扑-语义地图描述、无须标记点的设备对象外观稠密扫描建模。 人员综合定位：引入深度学习技术，在不需要部署额外设备、不依赖GPS信号的环境下，研发形成了基于视觉/惯导的人员综合定位系统，实现了未知环境下同时建图与定位（SLAM）、可达80m×80m室内外环境下分米级人员定位。 增强现实作业辅助：结合分层地图描述、数字化作业指导卡与作业人员定位等核心技术，配合头戴式AR智能眼镜/便携式移动终端，研发了含前后台通信结构的多人协同作业指导、作业人员安全管控、巡检路径校核、可视化装配引导等关键应用技术，形成了智能化电力运维检修、应急演练作业人员的新工作模式。

本发明公开了一种人体动作增强可视化方法及人体动作增强现实系统，该方法通过人体动作获取设备提取人体骨架动作信息，将其设置为边界条件及外力，使用计算流体力学的方法，在叠加的图层上进行气流运动的仿真，并将气流下密度场的变化与运动数据同步显示，从而增强各类动作的可视化效果，适用于对微小及瞬时动作的可视化。本发明通过计算自动合成增强运动效果的视觉数据至原人体动作视频上，无需人为地对动作数据进行后续的处理，可配合增强现实眼镜或其他相机显示一体设备，应用于增强现实等领域。

三维显示技术是信息显示追求的终极目标，本项目实现的三维光场显示技术是下一代显示屏的主流技术，可应用于三维手机屏，三维电视屏，三维广告屏等多个细分市场领域。本项目三维光场显示技术的主要特点是解决了当前三维显示存在的视差串扰问题，在屏幕前方180度范围内，可在任意位置观看到无串扰和无视差跳变的三维图像。本技术同时解决了当前立体显示长期观看存在视觉疲劳的问题。适用于游戏、广告、电影等多种应用。本项目同时开发了实时的三维场景采集和交互技术，可以实现三维场景的实时三维显示，以及手势、体感等人机交互，可以实现虚实融合显示，结合交互可以实现三维增强现实显示。

1.痛点问题 协作机器人与人类共享工作空间，通过直接（即物理上）或间接地与人类交互共同开展操作任务。相比传统工业机器人，协作机器人有更高的安全性和更易于编程的特点，能够通过人类示教部署于各种不同的任务并灵活地与人类配合。随着传统工业机器人带来的效率提升趋于饱和，能够安全配合人类的协作机器人能够进一步提高制造业的生产效率，带来可观的经济效益。然而，现有的协作机器人存在以下两大痛点问题。 问题一：安全和效率之间的权衡一直是人机交互中未系统解决的开放性问题。当存在人机直接接触时，为了保证人的安全，现有的协作机器人是通过中止正在进行的任务、顺从人的干预以保证安全；然而，不论人是有意地干预（即工人直接抓取机械臂来引导其任务）还是无意地接触机器人，都将造成机器人暂停手头工作；直到人类停止干预，机器人才能继续执行它的任务。虽然这种人机协作方式能够保证机器人与工人合作的安全，但因为机器人需要在不同的工作模式之间切换，其工作效率将会受到影响。 问题二：如何提高人的示教效率为协作机器人的另一大痛点问题。协同机器人多用于能够灵活拆装的生产线，以适应新的任务，因此新任务的编程效率很大程度上决定了工作效率。基于人类示教的编程方式具有自然、本能的优势，能够直接传递人类的操作技巧与经验。其中，将示教轨迹参数化为可以编辑修改、适应不同任务的形式是提高效率的核心问题。该示教轨迹不光应该包含机器人末端的运动数据，而且应该包含同时调整的冗余关节运动数据，从而同时完成末端主任务与关节避障任务，以适应工作环境。现有的示教方式未能结合离线示教与在线介入，因此无法适用于需要同时记录机器人末端和关节的示教任务。 2.解决方案 本项成果基于增强现实-触觉感知技术，开发了混合交互接口与人机互补操作算法，以解决上述痛点问题。 ①对于问题一，本项成果提出了自适应视觉控制与零空间阻尼控制的协作框架：在有限视场、未校正相机、关节奇异的情况下，保证了机器人在整个工作空间内的全局稳定性；在不影响机器人末端任务的前提下，允许人类专家随时、安全地介入以改变机器人关节姿态，以应对环境动态变化或突发事件，从而实现了安全与效率并重的人机协作方式。 ②对于问题二，本项成果构建了增强现实-触觉感知的混合接口，让人类专家可以在任务和冗余联合空间进行双手演示，同时记录机器人末端与机器人关节的数据。示教轨迹基于DMP方法进行参数化，能够根据不同任务所需的末端位置、关节角度、运动速度进行自适应调整，在保证末端任务精度的同时完成关节的避障任务。 技术核心： ①基于增强现实-触觉感知的混合交互接口; ②用于双手示教的机器人轨迹学习方法; ③自适应全局稳定控制算法。 预期产品：用于人机互补协同操作的设备与软件 3.合作需求 1)资金需求：本项成果开发的人机互补协作平台，在硬件与软件研发阶段需要资金投入，需约250-500万元人民币； 2)孵化资源：公司研发所需办公及研发场地、实验室、分析与测试实验室等； 3)团队：协作平台开发团队、商务开发与合作团队、财务、法务等支持团队； 4)生产制造企业合作：提供人机协同操作的场景与需求，开展工厂真实环境的测试与部署； 5)基础研究合作：与协作机器人、增强现实、触觉感知方向的国内外基础研究团队合作，开发新的交互设备与算法。

为了帮助运动员改善在正式比赛环境压力下的运动表现，北京体育大学运动心理学团队采用虚拟现实技术模拟运动员在比赛中的高压场景，结合传统心理训练和正念训练来提高运动员在压力情景下的应对能力，从而提升运动员赛场表现。

混合现实技术借助近眼显示、感知交互、渲染处理、网络传输等新一代信息技术，构建身临其境与虚实融合的沉浸体验，强调用户连接交互深度。基于混合现实的数字孪生系统形成一套深度融入物理空间的数字镜像，实现人与信息-物理系统的深入融合、增强人机共融智能。 本项目以虚拟现实、增强现实、移情计算及人工智能等高新技术为基础，形成了一系列知识产权和技术能力自主可控的行业解决方案，在智能制造、教育培训、工程管控、智慧园区等领域进行产业化应用。

虚拟现实是一种由计算机和电子技术创造的新世界，是一个看似真实的模拟环境，通过多种传感设备，用户可根据自身的感觉，使用人的自然技能对虚拟世界中的物体进行考察和操作，参与其中的事件，同时提供视、听、触等直观而又自然的实时感知，并使参与者“沉浸”于模拟环境中。 目前国内外虚拟现实系统都是基于电脑，如球幕电影、全景图片、3D视频、全景视频等。这些系统沉浸感和交互性很差。    北京交通大学数字化制造技术与装备研究所已经开发成功沉浸式虚拟旅游系统、沉浸式虚拟过山车、沉浸式虚拟矿山系统、沉浸式虚拟太空系统、沉浸式虚拟故宫和沉浸式虚拟滕王阁，处于国际领先水平。 应用范围： 智能沉浸式虚拟现实系统的应用领域如下图所示。 市场前景： 据Tractica的一篇最新报道显示，到2020年，虚拟现实头显，其他虚拟现实设备，虚拟现实内容以及内容创作工具的商业收入有望突破158.9亿美元，市场前景巨大，涉及的领域也越来越广。   预期效果（技术指标、经济指标）： 市场推广初期我们将研发虚拟教育系统(包括虚拟实验室、虚拟历史故事等)，研发成功后可以向全国的高等院校、高职院校和中学推广，市场潜力巨大。