一、项目进展 创意计划阶段 二、负责人及成员 姓名 学院/所学专业 入学/毕业时间 学号 曹梓源 计算机科学学院 2017年/2021年 201731063329 三、指导教师 姓名 学院/所学专业 职务/职称 研究方向 钟原 计算机科学学院 副教授 持续学习，深度学习、数字图像处理 四、项目简介 本系统为虚拟装配系统。旨在提高精密或大型机械装配培训的教学质量。能有效简化虚拟装配动画的制作流程及提供高质量模拟装配流程。

VR教育应用硬件系列产品整合VR、AR、MR等技术提出了VR实验室一体化建设方案（图3）。从视觉、听觉、触觉让使用者高度沉浸在虚拟实训、实验环境中，通过在三维虚拟环境进行操作交互来模拟、还原真实实验操作，并通过大尺寸屏幕显示设备提供资源展示平台，可以提升实验中心的整体形象及激发使用者的学习兴趣。产品汇集了虚拟现实（VR）、增强现实（AR）、混合现实（MR）、扩展现实（XR）、物联网（IOT）、大数据（DB）、人工智能（AI）、互联网+等行业尖端技术，采用了音视频处理、仿真交互、图形图像处理等配套硬件设备，为客户在虚拟现实应用领域创造集教学、科研、实验多功能一体化平台。

该系统利用现代的VR科技手段实现了传统中医文化不同形式的展现，与西医解剖做了明显区分，针灸界老前辈的标准化操作让同质化的教学目标更加容易实现。

视觉扫描建模：研发形成基于子地图的大尺度环境扫描建模，实现了多人协同的多阶段地图创建、拓扑-语义地图描述、无须标记点的设备对象外观稠密扫描建模。 人员综合定位：引入深度学习技术，在不需要部署额外设备、不依赖GPS信号的环境下，研发形成了基于视觉/惯导的人员综合定位系统，实现了未知环境下同时建图与定位（SLAM）、可达80m×80m室内外环境下分米级人员定位。 增强现实作业辅助：结合分层地图描述、数字化作业指导卡与作业人员定位等核心技术，配合头戴式AR智能眼镜/便携式移动终端，研发了含前后台通信结构的多人协同作业指导、作业人员安全管控、巡检路径校核、可视化装配引导等关键应用技术，形成了智能化电力运维检修、应急演练作业人员的新工作模式。

面向未来我国建立真3D显示系统的需要，实现以连续视点实时合成、平面视频和双目立体视频到真3D视频的实时转换生成和面向健康舒适观看的真3D质量评价、以及虚拟现实关键技术应用研究等研发的突破；主要研究：(1)视频自动的2D转换为3D(2D图像的深度提取和3D图像生成两步)；(2)VR网页浏览器/播放器；(3)VR规划和展示系统；(4)基于双摄像头的3D拍摄和3D建模。构建一套基于虚拟现实技术再现的真3D显示方案。并结合虚拟现实技术进行运用，投入到国民生产生活中。

本成果提供了一种可提供 720°VR 全景视频影像拍摄的无人机机载观察装 置，并确保其拍摄、观察画面的稳定性。本成果将无人机机载观察更有效地运用 到实际系统中，如空中 720°VR 影像拍摄、三维立体建模、城市规划、光伏设备 巡检等，大幅提升拍摄画面的视野范围，提高所拍摄影像的画质及稳定性。虚拟 现实(VR)全景成像技术目前广泛应用于街景地图制作、城市规划、影视制作等 领域，但空中 VR 成像及观察技术目前仍存在较大的技术缺陷，在实际应用中存 在不足。首先，空中拍摄时，由于无人机机体或旋翼遮挡，并不

晶硅太阳电池生产仿真实训让学员以车间技术人员的身份参与整条晶硅太阳电池产线的生产工作。学员可以按标准生产流程操作车间生产设备、检测生产样品以及对电池生产进行工艺仿真，从而深刻了解整个太阳电池生产流程以及关键工艺参数。 一.1.1. 场景设计 场景由制绒车间、扩散车间、后清洗车间、PECVD镀膜车间、丝网印刷车间和分选包装车间六大场景组成。场景素材从多个真实工厂采集而来，高保真还原车间设备与生产流程 场景模型主要包括：洁净车间、制绒机、自动上下料机、硅片、电子天平、分光光度计、电源柜、水冷机、空压机、化学液柜、电脑，键盘、鼠标、扩散炉、石英舟、插片房、传递窗、纯水箱、石英舟清洗槽、防毒面具、试验台、缓冲垫、防化服、源瓶、气柜、硅桨、方阻测试仪，万用表，石墨舟、PECVD镀膜机、舟车、烘箱、全自动丝网印刷机、网版、刮刀、搅拌机、桨料、夹具、接触电阻测试仪、烧结炉、IV分选仪、硅片盒、五格花蓝等... 一.1.2. 互动设计 第一人称视角控制主角场景漫游，学员可以在三维空间中自由活动和观察场景中的物体。 拾取物体操作采用3D空间实际抓取的方式，没有采用一般游戏中的背包栏方式，而当需要同时拾取多个物体时则提供3维工具用于装放，采取这种方式会更加接近现实，使学员更真实的体验实际工具的存放及使用的技巧。 各生产车间按照真实生产流程设计实训生产任务，完成当前任务后才能进入下一个任务，每个任务记录完成时间以及工艺仿真结果 缩略地图实时显示角色位置与任务点位置 第一人称视角与特写观察视角无缝平滑撤换 机器与设置仿真控制，通过机器控制面板设置工艺参数，控制启动生产，检测生产结果 表单填写与作业报告生成 使用仪器与设备检测生产样品 操作规程与关键知识点主动提示学习 原理动画演示

虚拟制造技术是前沿性的边缘学科，是先进制造技术、计算机技术、网络信息技术、虚拟现实技术、视觉技术和现代艺术的融合。 虚拟制造是在以计算机为核心的虚拟空间内把生产要素转变为虚拟产品及制造机能的全部行为。涵盖了从产品概念的形成、设计、场地规划、生产决策、制造工艺、生产流程、性能测试、试验、装配指导、机能培训、市场销售等生产全过程。 虚拟制造技术可在互动性可视化环境下，可通过企业生产的模拟运转来评估和优化制造过程，在实际生产之前就发现问题，在不消耗实际生产资源的情况下找出最优方案，达到缩短周期、降低成本、提高效益的目的。 姚福生院士2005年创建上海理工大学虚拟制造技术研究院以来，率领科研团队建立了大型虚拟制造技术实验室，取得了丰硕的科研成果，建立了上海市虚拟制造技术公共服务平台。该技术已成功应用到航天、战机、大型商用飞机、交通安全、世博会、大型装备制造、电力、科普等领域，涉及到园区规划、虚拟展览、教育培训、产品虚拟设计和制造、生产仿真、调度指挥、协同制造、远程故障诊断和维护等众多项目。

一种虚拟试衣间，包括框体，所述框体正面靠近上端安装摄像头，位于摄像头下方设置显示屏，摄像头通过主控面板与显示屏连接并将捕捉到的图像显示在显示屏上，该虚拟试衣间还包括一具有称重功能的底板，所述底板一端与框体下端连接，相对另一端为自由端，所述底板与所述主控面板连接并将获得的试衣人员重量信息反馈至主控面板。本实用新型通过增加一具有称重功能的底板，利用摄像头、底板对试衣人员身高、重量进行全方位捕捉，然后利用计算机进行建模，提高了虚拟试衣的效果，可用于各种商场、购物中心，不需单独设置实体试衣间，节省了空间和费

　　在智慧教室中包含有地理实验室、虚拟仿真实验室、互动课堂、异地同步课堂四个不同的教学课堂。 　　虚拟仿真实验室是通过虚拟仿真课堂与大数据运算，使物理、化学实验在脱离具体的实验器材与特定实验环境下，让学生进行自主模拟操作的仿真教学设备。 　　该软件可以使学生在面临一些具有危险性或者对实验环境要求较高的实验时，实现亲自动手操作。教师在课堂中可以随时将课堂中抽象的理论知识进行形象化、具体化的呈现，加深学生的理解。在实验过程中，教师可以灵活的控制实验进程程，随时对实验中的重要步骤进行讲解，不会受到实验环节的限制。此外，虚拟仿真实验室中的实验在不消耗实验材料的情况下，可以进行多次试验，让每位学生都参与到实验中来，提高了实验的参与度。 　　以"镁条在空气中燃烧"这一试验为例，在实验中操作者可根据系统提供的器材进行实验搭建。首先将托盘天平调平，之后将石棉网和长镁条放到托盘天平的左边进行称量，在此过程中若操作者没有用坩埚钳夹取镁条，系统便会作出相应的提示。改正后，便进入称量环节。在此环节中，用镊子夹取砝码是学生在实验中需要注意的重要环节，同样，若操作者出现失误，系统也会做出提示。按照正确的步骤测量好石棉网和长镁条的重量后，操作者需将结果进行记录，再用相同的工具将石棉网和长镁条从托盘天平上取下，打开酒精灯，点燃长镁条，再将镁条燃烧生成物连同石棉网放到天平上称重，比较实验前后的质量，便可以得出实验结论。实验完成后系统会根据此次实验过程生成实验总结，方便学生的理解与记忆，为教师的讲解与学生的自主学习提供了帮助。 　　在" 水的沸腾 "实验中，完成实验搭建后，第一步将酒精灯灯帽打开，画面中会出现一根火柴，使用火柴点燃酒精灯，可以看到酒精灯对试管进行预热，当试管中的水加热沸腾时，可以听到水沸腾的声音，用鼠标拖动玻璃板至试管口上方，就可以观察到水加热变成水蒸气，遇冷又凝结成水的变化过程。在实验中，若操作者没有按照实验步骤进行操作，系统会自动提示下一个步骤;若出现操作失误，系统会进行相应的提示，并且实验不能继续进行，这就可以使学生在脱离教师的指导下也能够自主进行多次实验，并且教师不用担心学生因实验步骤操作有误而影响实验结果。 　　虚拟仿真实验室中的实验可以多次重复操作，这样，班级里的每一个学生都可以对实验进行实践。学生在熟悉实验步骤后，再在真实的实验室中进行操作，可以避免一些不必要的危险发生以及实验材料的浪费。课后，学生也可以对自己不熟悉或不理解的部分，进行再次的操作，通过自己的亲身实践进一步巩固课堂知识。 　　地理实验室中，主要采用双板教学的模式。左方的地图呈现的是静态的教学内容展示，右边的3D地图呈现的是与教学内容相对应的动态图片展示，动静结合的教学方式可以实现对地理课堂上的所有课程的展示。一方面用改变传统教学方式，使学生体验到地理课堂的魅力，提高了学生对地理课的学习兴趣;另一方面加深学生对课堂内容的理解与记忆，使原本抽象地理教学变的更有趣、更形象、更生动。 　　球幕投影仪，利用特殊的光学镜头通过先进的计算机视觉技术与投影显示技术，将普通的平面影像进行特殊变换后投射到球幕上，使整个球体屏幕可实现360度成像。学生不受观看方位的限制，可以全方位观察到球面呈现的内容，改变了地理课堂只能进行平面展示的局限。 　　球幕投影仪相比传统地球仪不仅可以对地球表面的经纬度进行展示，并且可以结合教学中的具体内容对大气流动、海洋变化、星座、星际、宇宙等内容进行形象的展示，以更加具象与真实的状态让学生真真切切地感受到宇宙中的神奇变化。