|
搜索
搜 索
高等教育领域数字化综合服务平台
机器人运动避障与虚拟形象合成技术
1.痛点问题
拟人化的智能体，在人类生活中开始起到越来越重要的辅助工作、提升生产力和情感交流等作用。具体形式包括实体化的机器人和虚拟的数字人形象两种形式。
在实体化的机器人技术中，由于各行业场景范围的多样性，移动机器人的避障问题是阻碍机器人广泛应用的一大痛点。
（1）基于视觉信息和深度强化学习来解决移动机器人避障问题，会因为仿真数据与真实数据的较大差别而导致泛化性能不足，使得真实场景下的避障的成功率下降。
（2）目前避障问题中的深度强化学习往往需要针对不同复杂程度的场景重新训练或者再训练模型，难以训练出适用各种密度场景的通用模型。
（3）基于雷达的深度强化学习避障方法受限于成本、功耗和仿真的难度等，往往使用单线雷达。但单线雷达仅能对某个固定的平面进行检测，如果移动机器人具有较高的高度，只对某个平面检测无法实现完美的避障。
此外，随着虚拟形象在金融、文旅、医疗、零售等领域的推广与应用，数字虚拟形象产业应用路线逐渐清晰，但仍存在产业链相对割裂、产品与需求匹配度低、生产成本高效率低、虚拟形象交互能力弱的问题。
2.解决方案
针对现有技术存在的问题，本成果的解决方案从两方面入手。首先，在移动机器人避障方面，本成果设计了一种同时结合单线雷达与单目相机的避障方法框架，并设计了新的更有效的深度强化学习模型。其次，本成果还提供一种虚拟形象说话视频生成方法及系统，使用深度学习方法，基于训练好的深度神经网络语音模型,对预设音频文件进行预测处理,通过在说话视频生成过程中引入三维人脸信息,并结合神经网络模型生成头部姿势自然转动且具有个性化说话习惯的说话视频。上述算法可搭载于通用硬件平台，构建低成本高效的虚拟形象视频生成系统。
基于以上科研成果，本项目将致力于国民经济各主流行业的数字化转型，在人工智能、机器学习、计算机视觉技术等领域持续积累智能场景应用创新技术，结合优秀的前沿技术整合与应用开发融合能力和深厚的市场推广能力，全力打造智能巡检/服务/协作机器人和虚拟人平台等软硬件一体化解决方案。以实体机器人并搭载虚拟说话人虚体，通过实体、虚体相结合的方式打造独一无二、具有全新体验的智能巡检/服务/协作机器人，提高智能巡检/服务/协作过程中交互的效率与质量。
合作需求
寻求在清洁能源、储能、新能源等行业智能运维部门和相关企业合作，对相关技术进行推广应用，在清洁能源、储能、新能源等行业中部署巡检/服务/协作机器人以及虚拟人服务平台，打造无人值守范例，赋能智能化运维，共同推动行业进步。
清华大学
2022-07-08
基于全景视觉技术的机器人伺服定位系统
项目简介 机器视觉技术是一门涉及人工智能、神经生物学、计算机科学、图像处理、模式识 别等诸多领域的交叉学科，其主要用计算机来模拟人的视觉功能，从客观事物的图像中 提取信息，进行处理并加以理解，最终用于实际检测、测量和控制，目前已经广泛应用 在工业和民用领域中。 三维全景视觉检测技术是近年来机器视觉领域研究的热点之一，目前在视觉监控领 域、机器人定位、机器人视觉伺服控制等方面得到了应用。现阶段全景视觉检测技术主 要围绕运动系统的定位、伺服速度和精度开展研究，江苏大学先进制造与现代装备工程
江苏大学
2021-04-14
智能疫情防控机器人
上海交通大学电子信息与电气工程学院俞凯教授联合苏州思必驰信息科技有限公司开发了“疫情防控机器人”。依托语音识别、合成、理解和对话管理等人工智能（AI）技术，结合新研发的疫情排查对话逻辑和话术，机器人根据设定向社区居民主动宣教疫情防控知识，遇不适居民还会提醒就医。 2020年1月27日起，“疫情防控机器人”供社区和有关部门免费使用，已为江苏、山东、重庆、湖北、北京、浙江、四川、湖南、上海等多地提供服务，对话机器人自动接通10余万户，访问结果直接生成数据报表供社区。
上海交通大学
2021-04-10
隔离病房巡视机器人
身为航天工程方面的教授，郑钢铁和他的团队更善于系统设计和应急处理问题。作为临床医学院的教授，董家鸿对如何对抗疫情和保护医生有丰富的经验，这为机器人的研制提供了充分的现实基础。“或许可以用机器人为医护人员隔离风险，让医护人员的常规检查环节更加安全。”经过讨论，几位老师决定用科学在医护人员与冠状病毒之间筑出一道“高墙”。于是，隔离病房巡诊机器人的应急课题应运而生。根据设想和前线医生的实地反馈，巡诊机器人具备的主要功能包括测量体温、听诊、超声和咽拭子采样。从而，一位医生可以远程控制多台巡诊机器人，达到节约人力、降低感染风险的目的。想法一经确定，团队便立即展开项目工作，讨论方案、确定方案、组建团队，迅速投入研制工作中。巡诊机器人早一天投入使用，就可能保护更多的医生与患者，时间不等人！但是，在机器人开发现场的工程团队成员并不多，航院博士生陈煜、航院硕士生李奇钟、电机系本科生刘寒玉三名同学在现场研究，航院博士生祝世杰在家远程工作，主要负责写控制程序，提供远程支持。除此之外，清华校友帮助解决测温仪改装成遥控的问题，计算机系师生帮助解决机械手操作软件兼容的问题。
清华大学
2021-04-10
遥操作排爆机器人
项目背景及意义
国内外反恐排爆形式日趋严峻，一系列的恶性暴恐事件，对社会和国家造成重大损失。因此，研发专用于爆炸环境的应急处置特种机器人，代替人进入有爆炸可疑物的危险场所中，通过场外人员的遥操作实时控制，完成对现场的搜索、探测和对可疑物的处理，减少排爆人员的伤亡。研究基于遥操作技术的排爆机器人操作方法，提高机器人的操作性能，增加排爆的成功率。同时，机器人的研制将带动相关行业领域自主创新和技术进步，提升我国排爆机器人装备在国际市场的核心竞争力，推动经济转型升级。
项目展示及介绍
本单位开发的遥操作排爆机器人由两部分组成：实物样机和控制系统，样机由机械臂、运动平台、控制箱组成；控制系统由操作人员的控制端和车载机械臂的执行端组成。样机机械臂由4+1个自由度组成，用于完成可疑爆炸物的抓取；履带型移动平台保证排爆机器人可以安全可靠到达操作环境，控制箱是控制排爆机器人各关节的“手柄”，通过控制面板上的旋钮、按键等控件完成排爆任务。排爆机器人样机是躯干、控制系统是大脑、控制方式是思维策略、通讯方式是神经，其中控制系统是本设备的研究重点。
本套设备选用国产控制器作为控制端和车载端的控制核心；选用无线通讯设备保证机器人可以在距操作者八百米仍可以正常工作；选用推杆和旋钮保证操作简便，控制可靠。使用上位机软件进行程序编写，通讯和控制方式主要是串口和CAN。
项目特点：
遥操作控制
排爆机器人采用的遥控操作方式，由操作人员在远端控制台控制机器人执行相关排爆操作，然后控制信号经远距离无线通讯系统传递给机器人机载接收机，进入控制器，控制机器人本体的机构运动，通信内容包括数据、视频、音频信息。
遥操作技术将排爆人员从危险的环境中解放出来，对于保护排爆人员人身安全具有重要意义。遥操作技术克服了传统线缆操作的局限性，可以保证一定的数据穿透能力。
多传感器信息融合
排爆机器人的工作环境较为恶劣现场非传统结构化已知空间，在机身及机械臂上安装了较多的传感器，用于检测机体及外部环境信息。融合多传感器采集到的信息，无损、安全传送给远端操作人员，为操作人员提供准确可靠的现场信息。提高排爆的成功概率。
排爆机械臂运动控制研究
此部分研究主要包括排爆机械臂运动学及动力学特性分析、排爆机械臂运动控制算法研究等。此部分的研究难点在于机械臂逆运动学的实时分析和多自由度机械臂末端运动的精确控制。
主要技术指标：
山东大学
2021-05-11
七轴柔性焊锡机器人
本项目研究开发出国内首创七轴柔性焊锡机器人，可以实现自动点焊、拖焊、抖焊等一系列焊接流程，并通过机器视觉采集坐标，对工件整体坐标位置自动校准、补偿。此外还可以编辑存储海量焊接加工文件，可以针对不同焊接产品的要求，快速切换焊接工艺，非常适合电子生产企业多品种产品生产工况的应用需求。 此外，该项目开发的机器人将先进制造技术、电子整机产品制造技术、电子表面组装技术、电子元器件和材料制造技术、集成电路制造技术和微组装技术进行了有机整合，还可用于教学演示，使高校以及职业技术学生了解、掌握现代电子制造企业在先进制造大环境下所涉及的产品设计、制造工艺及先进电子产品制造设备等相关知识、技术、技巧。 该产品为国内行业首创七轴柔性机器人，可以记忆烙铁姿态。具有烙铁磨损自动补偿功能，提高产品合格率。可以与外部信号或设备进行系统集成的多种逻辑指令，具有RS232\RS485\RS422等通讯接口，配备12寸工业级触摸屏，采用C#语言设计的示教人机界面，简单直观，便于操作。通过视觉识别系统，可以对焊接工件进行位置识别处理，通过三维运动平台进行精确定位，同时还可以对焊点进行图像数据处理。可以通过PCB图片进行焊点坐标采集并编辑焊接程序。质量可追溯，可接入MES系统。 研发团队已经开发出多款焊锡机器人，可以根据用户要求匹配不同功能模块，满足不同使用场景的技术需求。此外，通过更换焊接作业模块，在该系统平台上，还开发出了自动锁螺丝机器人、自动点胶机器人等系列产品。
北京航空航天大学
2021-04-10
变电站巡检机器人
1、卓越的机器人运动性能（可靠） 2、导航辅助设施简单、定位精度高（精确） 3、仪表识别准确可靠（精确、智能） 4、巡检模式灵活方便（智能） 5、模块化、标准化设计，便于维修与互换（标准） 6、自动充电系统简单可靠（可靠） 7、独特的多元混合电池系统性能卓著（可靠） 8、缺陷自动识别与报警（智能） 9、丰富的内外部接口，便于数据融合与交互（开放）
电子科技大学
2021-04-10
移动视频会议机器人
超高性能1080p，包含核心编解码器、摄像机、显示器、麦克风、智能移动支架等。部署方便、整洁，可快速融入各类中小型会议室 。设备具备移动结构，能轻松穿越办公区，避开障碍物，到达指定地点对办公人员进行协助。随时随地畅享高清视频会议带来的音视频临场交互体验。
电子科技大学
2021-04-10
移动视频会议机器人
超高性能1080p，包含核心编解码器、摄像机、显示器、麦克风、智能移动支架等。部署方便、整洁，可快速融入各类中小型会议室 。设备具备移动结构，能轻松穿越办公区，避开障碍物，到达指定地点对办公人员进行协助。随时随地畅享高清视频会议带来的音视频临场交互体验。
电子科技大学
2021-04-10
智能疫情防控机器人
智能疫情防控机器人由上海交通大学电子信息与电气工程学院俞凯教授联合苏州思必驰信息科技有限公司开发。依托语音识别、合成、理解和对话管理等人工智能（AI）技术，结合新研发的疫情排查对话逻辑和话术，机器人根据设定向社区居民主动宣教疫情防控知识，遇不适居民还会提醒就医。
1月27日起，“疫情防控机器人”供社区和有关部门免费使用，已为江苏、山东、重庆、湖北、北京、浙江、四川、湖南、上海等多地提供服务，对话机器人自动接通10余万户，访问结果直接生成数据报表供社区。
上海交通大学
2021-04-10