云上高博会

机器人运动避障与虚拟形象合成技术

1.痛点问题拟人化的智能体，在人类生活中开始起到越来越重要的辅助工作、提升生产力和情感交流等作用。具体形式包括实体化的机器人和虚拟的数字人形象两种形式。在实体化的机器人技术中，由于各行业场景范围的多样性，移动机器人的避障问题是阻碍机器人广泛应用的一大痛点。（1）基于视觉信息和深度强化学习来解决移动机器人避障问题，会因为仿真数据与真实数据的较大差别而导致泛化性能不足，使得真实场景下的避障的成功率下降。（2）目前避障问题中的深度强化学习往往需要针对不同复杂程度的场景重新训练或者再训练模型，难以训练出适用各种密度场景的通用模型。（3）基于雷达的深度强化学习避障方法受限于成本、功耗和仿真的难度等，往往使用单线雷达。但单线雷达仅能对某个固定的平面进行检测，如果移动机器人具有较高的高度，只对某个平面检测无法实现完美的避障。此外，随着虚拟形象在金融、文旅、医疗、零售等领域的推广与应用，数字虚拟形象产业应用路线逐渐清晰，但仍存在产业链相对割裂、产品与需求匹配度低、生产成本高效率低、虚拟形象交互能力弱的问题。 2.解决方案针对现有技术存在的问题，本成果的解决方案从两方面入手。首先，在移动机器人避障方面，本成果设计了一种同时结合单线雷达与单目相机的避障方法框架，并设计了新的更有效的深度强化学习模型。其次，本成果还提供一种虚拟形象说话视频生成方法及系统，使用深度学习方法，基于训练好的深度神经网络语音模型,对预设音频文件进行预测处理,通过在说话视频生成过程中引入三维人脸信息,并结合神经网络模型生成头部姿势自然转动且具有个性化说话习惯的说话视频。上述算法可搭载于通用硬件平台，构建低成本高效的虚拟形象视频生成系统。基于以上科研成果，本项目将致力于国民经济各主流行业的数字化转型，在人工智能、机器学习、计算机视觉技术等领域持续积累智能场景应用创新技术，结合优秀的前沿技术整合与应用开发融合能力和深厚的市场推广能力，全力打造智能巡检/服务/协作机器人和虚拟人平台等软硬件一体化解决方案。以实体机器人并搭载虚拟说话人虚体，通过实体、虚体相结合的方式打造独一无二、具有全新体验的智能巡检/服务/协作机器人，提高智能巡检/服务/协作过程中交互的效率与质量。合作需求寻求在清洁能源、储能、新能源等行业智能运维部门和相关企业合作，对相关技术进行推广应用，在清洁能源、储能、新能源等行业中部署巡检/服务/协作机器人以及虚拟人服务平台，打造无人值守范例，赋能智能化运维，共同推动行业进步。

清华大学 2022-07-08