面向机器人的智能视觉环境感知及三维场景重建 面向机器人视觉的自然场景理解是近年来的研究热点和重要挑战之一，其目标是对自然场景图像及视频的内容作出有效分析、认知与表达，目前相关理论和算法正处于初期探索阶段。我们的研究成果表明，从场景视觉语义推理、场景目标识别和场景行为模式检测三个环节展开研究，有助于构建自然场景理解的创新机制，进一步开发机器人

由本团队研制开发的便携式大范围三维场景全景重构与智能监控系统是用于移动机器人、环境监控、灾难救援等领域的三维环境感知、建模与监控的最新一代产品。本产品由自主研发的硬件设备和专用配套软件两部分构成。本产品还可与视觉传感器配合使用，并基于自主专利技术实现三维激光数据与视觉数据的像素级融合，从而基于RGB-D数据实现大范围三维场景的建模与重构。该成果属于自主创新成果，技术性能达到国际先进水平，填补了国内空白。本产品利用自主研发的高精度旋转云台，可实现360度全景激光测距数据实时采集与处理、多

一、项目进展 创意计划阶段 二、负责人及成员 姓名 学院/所学专业 入学/毕业时间 学号 史雨杰 电信院/自动化 2019.9/2023.7 201931072537 李耀辉 电信院/机器人工程 2019.9/2023.7 201931072628 刘忠跃 电信院/自动化 2018.9/2022.7 201831073203 王怡欣 电信院/自动化 2018.9/2022.7 201831073423 孟泽涛 电信院/自动化 2018.9/2022.7 201831073302 三、指导教师 姓名 学院/所学专业 职务/职称 研究方向 李杰 电气信息学院 讲师 人工智能 四、项目简介 本项目基于虚实交互技术、仿生机器狗运动控制、机器视觉、机器算法等方面展开研究。其目的在于增强虚实场景下机器狗与现实环境的交互能力，使其更快速地适应复杂地形，并借助机器视觉丰富其应用性。机器狗采用Jetson-Nano为主控板，其上运行ROS系统，采用分布式运行rosserial_arduino、rosbridge实现机器狗运动控制和虚拟场景通信的环节；利用SLAM技术精确构建地形图样，模拟人的真实视觉功能并通过图像摄取装置赋予机器狗，使机器狗能够对图像信号进行获取和识别，并通过数字化处理以实现其在多目标环境下的个体追踪功能以及对人体的姿态识别功能。

根据复杂设备维护训练的需求，西安科技大学自 2011 年开始研发桌面式三维虚拟拆装训练技术，目前此技术已经成熟并在部队大型武器装备维护拆装训练中推广应用。该成果申请软件著作权 1 项。 3DVSATS 软件系统基于 OSG 三维渲染引擎开发，可根据客户需求定制拆装训练设备，支持 3DMax 、 Maya 等主流建模软件建立的三维模型，可对设备各部分零件进行直观的三维展示；设备维护人员通过鼠标、键盘等进行交互操作，可以完成定制设备的拆解和装配训练，并可记录操作过程，最终统计出每次操作的错误步骤并打分。

以某商务车为研究对象，将理论研究、仿真分析和实车试验结合，研究了汽车虚拟 试验场技术，并基于该技术，建立汽车整车的虚拟样机，用于部件特性、NVH、疲劳耐 久及碰撞安全性能等的研究。主要完成以下的工作： 1）研究汽车虚拟试验场技术的建模理论与方法，并建立某商务车整车虚拟样机； 2）采用动态的、非线性有限元方法，对整车在时域内的平顺性及其影响因素进行 研究； 3）采用声-振耦合有限元法和声辐射边界元法，对轮胎和乘坐室内的低频噪声进行 分析预测； 4）应用多轴疲劳理论，采用三种典型的可靠性路面计算了车身及后悬架的疲劳寿 命； 5）依据 GB11551-2003 正面碰撞安全法规和 GB20071-2006 侧面碰撞安全法规对汽 车进行碰撞安全性的仿真研究，并提出可行的优化措施。

随着高新技术的发展和产品复杂程度的增加，尤其是航天、航空等复杂产品向小型化、轻量化、精密化和光、机、电一体化方向的发展，产品的填充密度和装配质量要求越来越高，装配工艺的发展成为保证产品质量和生产效率的决定性因素。虚拟装配工艺规划及其信息管理系统主要是通过构建一个基于VR平台的人机交互装配工艺规划环境，使用户能在可视化的环境下交互地对产品三维模型进行拟实的装配操作，以建立和分析零部件的装配顺序、装配路径、装配过程中的动态干涉，验证和分析装配工、夹具的空间可操作性和装夹定位关系，并以此为基础，形成规范的复合装配工艺文档。

本成果在研究人（驾驶员）的认知特性基础上，利用虚拟现实手段和机电系统集成控制技术，通过虚拟场景构建、显示界面开发及数据通信集成，实现了沉浸式虚拟交互（驾驶）仿真，在仿真过程中可实时采集分析人（驾驶员）的生理心理指标参数，再经过具有自主知识产权的科学数据处理技术之后，可有效表征不同情境下人（驾驶员）的行为绩效。

Ø  成果简介：随着高新技术的发展和产品复杂程度的增加，尤其是航天、航空等复杂产品向小型化、轻量化、精密化和光、机、电一体化方向的发展，产品的填充密度和装配质量要求越来越高，装配工艺的发展成为保证产品质量和生产效率的决定性因素。虚拟装配工艺规划及其信息管理系统主要是通过构建一个基于VR平台的人机交互装配工艺规划环境，使用户能在可视化的环境下交互地对产品三维模型进行拟实的装配操作，以建立和分析零部件的装配顺序、装配路径、装配过程中的动态干涉，验证和分析装配工、夹具的空间可操作性和装

XM-CS8000超声诊断虚拟教学系统   XM-CS8000超声诊断虚拟教学系统旨在通过模拟练习让学习者逐步掌握临床常用的标准操作手法，在仿真病人身上运用模拟超声探头获取不同切面下的正常及常见疾病超声动态图像，加深学习者对临床常用超声切面正常解剖结构及疾病声像图特点的认知，弥补现有传统教学仅局限于书本及视频的单一教学方法及实践机会少的不足，增强学习者动手能力，有助于学习者进一步完善和提高超声诊断及鉴别诊断能力。   一、主要功能： ■ 图像来源于真实病人实时扫描，并配合虚拟解剖结构演示模拟探头扫查脏器关键点位，让使用者犹如置身真实的临床操作环境，使用本系统进行模拟练习时，伴随超声探头的位置、角度的变化，图像也会呈现与其切面解剖结构相一致的变化。 ■ 系统包括200种以上不同病例，涵盖90%左右第三版《超声诊断学》教材所述病例。 ■ 系统设计了模拟操作教学、超声视频回放、临床常见病诊断（鉴别诊断）、学习与测试四大模块，帮助初学者初步形成超声诊断学的整体认识及系统逻辑思维能力。 · 模拟操作教学部分主要包括正常超声模拟和常见疾病超声模拟，提供200余例临床常见病例，主要是让学习者在认识和掌握正常图像及标准切面操作方法的基础上，再由浅入深地掌握疾病声像图特点及常用切面的操作方法。       · 临床常见病诊断（鉴别诊断）部分主要是针对不同病种但声像图表现相似疾病的声像图特点及鉴别点结合教材进行总结和归纳，使学习者在练习的过程中更高效地掌握疾病的鉴别诊断要点。     · 超声视频回放部分目前给用户提供百余例经典病例视频回放，有利于学习者加深对疾病典型征像的认识及深入探讨。      · 学习与测试部分提供1000余道超声专业测试题及1600余个专业词汇解释，每套试题系统从中随机抽取，并进行自动评估准确率，有助于学习者对理论及实践学习阶段学习效果的评价。 ■ 系统包括正常人扫查，各个病例的扫查，而且同一病例下可以更换探头对不同部位做进一步扫描检查。 ■ 系统具有超声学习辅助导航功能，导航功能可帮助解剖部位和病理部位的发现，可帮助学员掌握找到目标图像探头所需的手法（探头的位置、角度）。 ■ 系统具备训练和竞赛两种模式，其中竞赛模式是在多机下完成的，竞赛模式包括必答题和抢答题。   二、移动式超声诊疗床参数： ■ 采用ABS材料制作，其产品整体采用“Z”形设计，中段以S曲线结合底部平台，可移动式万向轮使这款诊疗床可更加便捷的移动，从而减少不必要的人力。 ■ 双层平台可供模型的上下摆放，上部平台主要配合模拟超声探头扫查、诊疗，下部收纳台收取方便可摆放模型任意一款。 ■ 诊疗床内部采用金属加固，符合人体工学、尺寸适中。   三、病例部分： 本系统现有病例覆盖范围包括肝脏/胆道/脾/胰腺/肾、输尿管和膀胱/男性生殖器：前列腺、睾丸和阴茎/胃肠/腹膜后间隙、肾上腺/妇科、产科/浅表器官/心脏及大血管等。 ■ 肝脏疾病包括局灶性肝病（肝占位性病变）和肝脏弥漫性病变。 局灶性肝病包括：原发性肝癌、转移性肝癌、肝门静脉栓子形成、肝血管瘤、肝囊肿、肝脓肿、肝局灶性坏死结节等。 肝脏弥漫性病变包括：脂肪肝、不均匀性脂肪肝、酒精性肝硬化、肝硬化失代偿期、门静脉高压、肝淤血等。 ■ 胆道疾病包括：急性胆囊炎、慢性胆囊炎、胆囊结石、胆囊肿物、胆囊良性腺瘤、胆囊壁胆固醇结晶、胆囊息肉、胆囊腺肌增生症、肝内胆管结石等。 ■ 脾疾病包括：脾肿大、脾囊肿、脾肿瘤、脾血管瘤、副脾、脾外伤等。 ■ 胰腺疾病包括：胰腺囊肿、胰腺癌、胰腺浆液性囊腺瘤等。 ■ 肾、输尿管和膀胱疾病包括：肾囊肿、肾结石、肾癌、肾错构瘤、肾弥漫性病变、肾萎缩、多囊肾、马蹄肾、重复肾、肾积水、输尿管结石、膀胱炎、膀胱癌、尿道结石等等。 ■ 男性生殖器疾病包括：前列腺增大、前列腺钙化、前列腺癌、睾丸鞘膜积液等。 ■ 胃肠疾病包括：胃癌、胃间质瘤、肠梗阻、肠套叠、结肠炎、直肠癌、急性阑尾炎、急性阑尾炎伴粪石、腹腔积液、腹股沟疝等。 ■ 腹膜后间隙、肾上腺疾病包括：肾上腺皮质腺瘤、肾上腺肿物等。 ■ 妇科、产科疾病包括：子宫肌瘤、子宫内膜增厚、子宫颈囊肿、子宫腺肌症、子宫宫腔内置节育器、双角子宫合并妊娠、卵巢癌、卵巢滤泡囊肿、卵巢巧克力囊肿、卵巢囊肿、葡萄胎、早孕、胎儿、盆腔积液等。 ■ 浅表器官疾病包括眼、乳腺、甲状腺、涎腺、淋巴系统疾病及软组织疾病。 眼疾病包括：玻璃体混浊、晶体混浊、玻璃体积血、玻璃体后脱离、脉络膜黑色素瘤、眼占位等。 ■ 乳腺疾病包括：乳腺癌、乳腺癌伴钙化、乳腺浸润性导管癌、乳腺囊肿、乳腺囊性增生、乳腺增生结节、乳腺脂肪瘤、哺乳期乳腺、乳腺纤维腺瘤、乳腺纤维腺瘤伴钙化、乳腺腺体钙化灶等。 ■ 甲状腺疾病包括：甲状腺癌、甲状腺淋巴瘤伴周围淋巴结增大、结节性甲状腺肿、桥本氏病、亚急性甲状腺炎、甲状腺瘤伴液化、甲状腺结节、甲状腺胶质潴留性囊肿、甲亢、甲状旁腺占位性病变等。 ■ 涎腺疾病包括：腮腺淋巴结显示、腮腺混合瘤等。 ■ 淋巴系统疾病包括:锁骨上异常淋巴结、锁骨上淋巴结转移癌、锁骨上窝淋巴瘤、肺癌锁骨上淋巴结转移癌、乳腺癌锁骨上淋巴结转移癌。 ■ 软组织疾病包括：颈部软组织深层脂肪瘤、乳腺软组织多发脂肪瘤、腹壁白线疝（脐部）、阑尾术后皮下软组织包块伴钙化。 ■ 心脏及大血管疾病：风湿性心脏病二尖瓣病变、肥厚型心肌病、卵圆孔未闭、室间隔缺损、二尖瓣脱垂、左心衰、心包积液、先天性主动脉瓣畸形（二叶瓣）、左室心尖部血栓、房间隔缺损、心脏肿瘤（粘液瘤）、主动脉狭窄、冠心病（陈旧性心肌梗死）、房间隔膨出瘤、高血压心肌肥厚、二尖瓣病变、风湿性心脏病（联合瓣膜病）、主动脉瓣关闭不全、肥厚心肌病（间隔型）、二、三尖瓣关闭不全、二尖瓣及主动脉瓣位人工金属瓣置换术等。   四、系统组成： ■ 超声诊断虚拟教学系统软件：1套 ■ 半身仿真模拟病人：2具（男/女性各1） ■ 推车式模拟超声诊断仪：1台 ■ 模拟超声探头：3种（腹部探头、浅表探头、心脏探头） ■ 移动式超声诊疗床：1张 ■ 电脑：1台

南京师范大学课程资源研究所专业提供科技馆、科普馆、科技创新实验室、科学探究实验室、数字化实验室、通用技术实验室、机器人实验室、航天航空科普馆、航天航空科技馆、地震科普馆、地震科技馆、安全教育科普馆、安全教育科技馆、公共安全科普馆、交通安全科普馆、交通安全科技馆、消防科普馆、消防科技馆、幼儿园科学发现室、农业科普馆、社区科普馆、社区科技馆、示范性综合实践基地、综合实践活动室的设计方案。     我单位主要承接校园综合科技馆和主题科普馆业务。校园综合科技馆主要包括大中小型科技馆、袖珍科技馆、科技走廊和科技活动中心。主题科普馆主要包括：生命健康、低碳环保、防震减灾、交通安全主题馆。 南京师范大学课程资源研究所 邮政编码： 210097  地　　址： 南京市宁海路122号南京师范大学信息技术楼 公司电话： 025-83204284 83302681 83301983 公司传真： 025-83302681转8009  手　　机：13405879778 联 系 人：王经理  网　　址：http://www.kczyyjs.com 电子邮件：wangkefang@163.com QQ号码：2269329198