基于虚实交互场景下的机器狗视觉控制系统研究

一、项目进展

创意计划阶段

二、负责人及成员

姓名	学院/所学专业	入学/毕业时间	学号
史雨杰	电信院/自动化	2019.9/2023.7	201931072537
李耀辉	电信院/机器人工程	2019.9/2023.7	201931072628
刘忠跃	电信院/自动化	2018.9/2022.7	201831073203
王怡欣	电信院/自动化	2018.9/2022.7	201831073423
孟泽涛	电信院/自动化	2018.9/2022.7	201831073302

三、指导教师

姓名	学院/所学专业	职务/职称	研究方向
李杰	电气信息学院	讲师	人工智能

四、项目简介

本项目基于虚实交互技术、仿生机器狗运动控制、机器视觉、机器算法等方面展开研究。其目的在于增强虚实场景下机器狗与现实环境的交互能力，使其更快速地适应复杂地形，并借助机器视觉丰富其应用性。机器狗采用Jetson-Nano为主控板，其上运行ROS系统，采用分布式运行rosserial_arduino、rosbridge实现机器狗运动控制和虚拟场景通信的环节；利用SLAM技术精确构建地形图样，模拟人的真实视觉功能并通过图像摄取装置赋予机器狗，使机器狗能够对图像信号进行获取和识别，并通过数字化处理以实现其在多目标环境下的个体追踪功能以及对人体的姿态识别功能。

成果类别	成果名称	相关团队成员	相关指导老师
软件著作权	基于虚实交互技术的多功能四足机器人系统V2.3.1	李耀辉、史雨杰、刘忠跃、王怡欣、孟泽涛	李杰
竞赛奖项	2021年西门子杯全国初赛一等奖	刘忠跃、王怡欣、孟泽涛	李杰
竞赛奖项	第五届中国高校智能机器人创意大赛国家一等奖	李耀辉、史雨杰	李杰
竞赛奖项	2022年西门子杯全国初赛二等奖	李耀辉、史雨杰	李杰

1、优势

本项目利用ROS框架下的gmapping算法并结合激光扫描仪传感器获得的点云数据建立所需要的二维地图，并对构建的场景进行坐标化，以实现对机器狗本身的定位及导航功能。同时，使用Unity对ROS扫描生成的二维基础地图进行复杂化、逼真化，进行多种场景的虚拟构建，并借助Rosbridge实现ROS与Unity3D通信，从而进行虚拟现实交互实验，例如机器狗的避障、路径修偏、指定目标追踪等。不仅如此，机器视觉的引入使得机器狗能够实现人脸识别、口罩识别、姿态识别、手势识别等诸多功能，创新型强且应用十分广泛。

2、技术前景

参考前几年新冠疫情的肆虐可知，无接触式交互一定会成为新的趋势，基于本项目的虚实交互的构建方法，能够一定程度上有效缓解疫情带来的损害。结合仿生机器狗建模、计算机视觉、机器算法等方面构建出虚实交互场景下的机器狗视觉控制系统，能够使其能快速地适应复杂地形，应用场景更加不受局限，节约了特定环境设备调试工作的时间成本，具有一定的独创性。同时，借助机器视觉的人脸识别及口罩识别技术，能够实时检测市民佩戴口罩情况，为疫情防控贡献一份力。

同时，元宇宙相关理念的提出更凸显了虚实交互技术应用于未来机器人发展的可行性与重要性，虚实模型的训练与迁移将极大便利机器人的开发，减轻人力成本与资源成本的消耗，提高训练效率。