三维显示技术是信息显示追求的终极目标，本项目实现的三维光场显示技术是下一代显示屏的主流技术，可应用于三维手机屏，三维电视屏，三维广告屏等多个细分市场领域。本项目三维光场显示技术的主要特点是解决了当前三维显示存在的视差串扰问题，在屏幕前方180度范围内，可在任意位置观看到无串扰和无视差跳变的三维图像。本技术同时解决了当前立体显示长期观看存在视觉疲劳的问题。适用于游戏、广告、电影等多种应用。本项目同时开发了实时的三维场景采集和交互技术，可以实现三维场景的实时三维显示，以及手势、体感等人机交互，可以实现虚实融合显示，结合交互可以实现三维增强现实显示。

Ø  成果简介：增强现实(Augmented Reality，简称AR)是近年来国外众多知名大学和研究机构的研究热点之一。该技术借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，并通过传感技术将虚拟对象准确“放置”在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者一个感官效果真实的新环境。因此增强现实系统具有虚实结合、实时交互、三维注册的新特点。Ø  项目来源：国家863目标导向项目，国家自然科学基金仪器专项等。

成果简介：增强现实(Augmented Reality，简称 AR)是近年来国外众多知名 大学和研究机构的研究热点之一。该技术借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，并通过传感技术将虚拟对象准确“放置” 在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使 用者一个感官效果真实的新环境。因此增强现实系统具有虚实结合、实时交 互、三维注册的新特点。 项目来源：国家 863 

1.痛点问题 协作机器人与人类共享工作空间，通过直接（即物理上）或间接地与人类交互共同开展操作任务。相比传统工业机器人，协作机器人有更高的安全性和更易于编程的特点，能够通过人类示教部署于各种不同的任务并灵活地与人类配合。随着传统工业机器人带来的效率提升趋于饱和，能够安全配合人类的协作机器人能够进一步提高制造业的生产效率，带来可观的经济效益。然而，现有的协作机器人存在以下两大痛点问题。 问题一：安全和效率之间的权衡一直是人机交互中未系统解决的开放性问题。当存在人机直接接触时，为了保证人的安全，现有的协作机器人是通过中止正在进行的任务、顺从人的干预以保证安全；然而，不论人是有意地干预（即工人直接抓取机械臂来引导其任务）还是无意地接触机器人，都将造成机器人暂停手头工作；直到人类停止干预，机器人才能继续执行它的任务。虽然这种人机协作方式能够保证机器人与工人合作的安全，但因为机器人需要在不同的工作模式之间切换，其工作效率将会受到影响。 问题二：如何提高人的示教效率为协作机器人的另一大痛点问题。协同机器人多用于能够灵活拆装的生产线，以适应新的任务，因此新任务的编程效率很大程度上决定了工作效率。基于人类示教的编程方式具有自然、本能的优势，能够直接传递人类的操作技巧与经验。其中，将示教轨迹参数化为可以编辑修改、适应不同任务的形式是提高效率的核心问题。该示教轨迹不光应该包含机器人末端的运动数据，而且应该包含同时调整的冗余关节运动数据，从而同时完成末端主任务与关节避障任务，以适应工作环境。现有的示教方式未能结合离线示教与在线介入，因此无法适用于需要同时记录机器人末端和关节的示教任务。 2.解决方案 本项成果基于增强现实-触觉感知技术，开发了混合交互接口与人机互补操作算法，以解决上述痛点问题。 ①对于问题一，本项成果提出了自适应视觉控制与零空间阻尼控制的协作框架：在有限视场、未校正相机、关节奇异的情况下，保证了机器人在整个工作空间内的全局稳定性；在不影响机器人末端任务的前提下，允许人类专家随时、安全地介入以改变机器人关节姿态，以应对环境动态变化或突发事件，从而实现了安全与效率并重的人机协作方式。 ②对于问题二，本项成果构建了增强现实-触觉感知的混合接口，让人类专家可以在任务和冗余联合空间进行双手演示，同时记录机器人末端与机器人关节的数据。示教轨迹基于DMP方法进行参数化，能够根据不同任务所需的末端位置、关节角度、运动速度进行自适应调整，在保证末端任务精度的同时完成关节的避障任务。 技术核心： ①基于增强现实-触觉感知的混合交互接口; ②用于双手示教的机器人轨迹学习方法; ③自适应全局稳定控制算法。 预期产品：用于人机互补协同操作的设备与软件 3.合作需求 1)资金需求：本项成果开发的人机互补协作平台，在硬件与软件研发阶段需要资金投入，需约250-500万元人民币； 2)孵化资源：公司研发所需办公及研发场地、实验室、分析与测试实验室等； 3)团队：协作平台开发团队、商务开发与合作团队、财务、法务等支持团队； 4)生产制造企业合作：提供人机协同操作的场景与需求，开展工厂真实环境的测试与部署； 5)基础研究合作：与协作机器人、增强现实、触觉感知方向的国内外基础研究团队合作，开发新的交互设备与算法。

增强现实（AR）虚拟拆装训练系统是基于AR增强现实技术和虚拟仿真技术开发，具有真实模拟现场场景设备及部件、自然交互拆装训练的功能。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。通过头盔、触笔、手机等交互外设，开发匹配的展示资源，实现360度立体化的展示效果和沉浸式的拆装效果。让学生体验新技术魅力的同时学习到设备部件组成、结构原理及其拆装技能，提升了学生理论联系实际的能力。

项目成果/简介: 本技术基于人体肌肉运动生理学原理，在肌纤维处施加一定模式的电刺激信号可使肌肉发生收缩和拉伸等动作，从而使人产生自主肌体运动或使皮肤触觉小体产生特定的触觉感应。采用穿戴式柔性新型电极阵列实施电刺激，并研究多种用于力触觉反馈的电刺激模式组合，简单易行、轻巧方便、力触觉感应分辨率高，增强虚拟场景沉浸感。同时通过不同的电极阵列结构、材质、形态设计，丰富电刺激模式库，提高力触觉反馈的时间和空间准确度。 虚拟现实力触觉反馈交互技术可用于虚拟现实游戏、虚拟现实教育培训、虚拟制造等领域，也可以用于煤矿、安防等高风险领域，以及电影技术。电刺激肱二头肌力反馈交互虚拟拉弓场景交互知识产权类型:发明专利技术先进程度:达到国内领先水平成果获得方式:独立研究获得政府支持情况:无

本技术基于人体肌肉运动生理学原理，在肌纤维处施加一定模式的电刺激信号可使肌肉发生收缩和拉伸等动作，从而使人产生自主肌体运动或使皮肤触觉小体产生特定的触觉感应。采用穿戴式柔性新型电极阵列实施电刺激，并研究多种用于力触觉反馈的电刺激模式组合，简单易行、轻巧方便、力触觉感应分辨率高，增强虚拟场景沉浸感。同时通过不同的电极阵列结构、材质、形态设计，丰富电刺激模式库，提高力触觉反馈的时间和空间准确度。 虚拟现实力触觉反馈交互技术可用于虚拟现实游戏、虚拟现实教育培训、虚拟制造等领域，也可以用于煤矿、安防等高风险领域，以及电影技术。 电刺激肱二头肌力反馈交互 虚拟拉弓场景交互

视觉扫描建模：研发形成基于子地图的大尺度环境扫描建模，实现了多人协同的多阶段地图创建、拓扑-语义地图描述、无须标记点的设备对象外观稠密扫描建模。 人员综合定位：引入深度学习技术，在不需要部署额外设备、不依赖GPS信号的环境下，研发形成了基于视觉/惯导的人员综合定位系统，实现了未知环境下同时建图与定位（SLAM）、可达80m×80m室内外环境下分米级人员定位。 增强现实作业辅助：结合分层地图描述、数字化作业指导卡与作业人员定位等核心技术，配合头戴式AR智能眼镜/便携式移动终端，研发了含前后台通信结构的多人协同作业指导、作业人员安全管控、巡检路径校核、可视化装配引导等关键应用技术，形成了智能化电力运维检修、应急演练作业人员的新工作模式。

一、项目进展 创意计划阶段 二、负责人及成员 姓名 学院/所学专业 入学/毕业时间 学号 史雨杰 电信院/自动化 2019.9/2023.7 201931072537 李耀辉 电信院/机器人工程 2019.9/2023.7 201931072628 刘忠跃 电信院/自动化 2018.9/2022.7 201831073203 王怡欣 电信院/自动化 2018.9/2022.7 201831073423 孟泽涛 电信院/自动化 2018.9/2022.7 201831073302 三、指导教师 姓名 学院/所学专业 职务/职称 研究方向 李杰 电气信息学院 讲师 人工智能 四、项目简介 本项目基于虚实交互技术、仿生机器狗运动控制、机器视觉、机器算法等方面展开研究。其目的在于增强虚实场景下机器狗与现实环境的交互能力，使其更快速地适应复杂地形，并借助机器视觉丰富其应用性。机器狗采用Jetson-Nano为主控板，其上运行ROS系统，采用分布式运行rosserial_arduino、rosbridge实现机器狗运动控制和虚拟场景通信的环节；利用SLAM技术精确构建地形图样，模拟人的真实视觉功能并通过图像摄取装置赋予机器狗，使机器狗能够对图像信号进行获取和识别，并通过数字化处理以实现其在多目标环境下的个体追踪功能以及对人体的姿态识别功能。

本发明公开了一种人体动作增强可视化方法及人体动作增强现实系统，该方法通过人体动作获取设备提取人体骨架动作信息，将其设置为边界条件及外力，使用计算流体力学的方法，在叠加的图层上进行气流运动的仿真，并将气流下密度场的变化与运动数据同步显示，从而增强各类动作的可视化效果，适用于对微小及瞬时动作的可视化。本发明通过计算自动合成增强运动效果的视觉数据至原人体动作视频上，无需人为地对动作数据进行后续的处理，可配合增强现实眼镜或其他相机显示一体设备，应用于增强现实等领域。