|
搜索
搜 索
高等教育领域数字化综合服务平台
机器人运动避障与虚拟形象合成技术
1.痛点问题
拟人化的智能体，在人类生活中开始起到越来越重要的辅助工作、提升生产力和情感交流等作用。具体形式包括实体化的机器人和虚拟的数字人形象两种形式。
在实体化的机器人技术中，由于各行业场景范围的多样性，移动机器人的避障问题是阻碍机器人广泛应用的一大痛点。
（1）基于视觉信息和深度强化学习来解决移动机器人避障问题，会因为仿真数据与真实数据的较大差别而导致泛化性能不足，使得真实场景下的避障的成功率下降。
（2）目前避障问题中的深度强化学习往往需要针对不同复杂程度的场景重新训练或者再训练模型，难以训练出适用各种密度场景的通用模型。
（3）基于雷达的深度强化学习避障方法受限于成本、功耗和仿真的难度等，往往使用单线雷达。但单线雷达仅能对某个固定的平面进行检测，如果移动机器人具有较高的高度，只对某个平面检测无法实现完美的避障。
此外，随着虚拟形象在金融、文旅、医疗、零售等领域的推广与应用，数字虚拟形象产业应用路线逐渐清晰，但仍存在产业链相对割裂、产品与需求匹配度低、生产成本高效率低、虚拟形象交互能力弱的问题。
2.解决方案
针对现有技术存在的问题，本成果的解决方案从两方面入手。首先，在移动机器人避障方面，本成果设计了一种同时结合单线雷达与单目相机的避障方法框架，并设计了新的更有效的深度强化学习模型。其次，本成果还提供一种虚拟形象说话视频生成方法及系统，使用深度学习方法，基于训练好的深度神经网络语音模型,对预设音频文件进行预测处理,通过在说话视频生成过程中引入三维人脸信息,并结合神经网络模型生成头部姿势自然转动且具有个性化说话习惯的说话视频。上述算法可搭载于通用硬件平台，构建低成本高效的虚拟形象视频生成系统。
基于以上科研成果，本项目将致力于国民经济各主流行业的数字化转型，在人工智能、机器学习、计算机视觉技术等领域持续积累智能场景应用创新技术，结合优秀的前沿技术整合与应用开发融合能力和深厚的市场推广能力，全力打造智能巡检/服务/协作机器人和虚拟人平台等软硬件一体化解决方案。以实体机器人并搭载虚拟说话人虚体，通过实体、虚体相结合的方式打造独一无二、具有全新体验的智能巡检/服务/协作机器人，提高智能巡检/服务/协作过程中交互的效率与质量。
合作需求
寻求在清洁能源、储能、新能源等行业智能运维部门和相关企业合作，对相关技术进行推广应用，在清洁能源、储能、新能源等行业中部署巡检/服务/协作机器人以及虚拟人服务平台，打造无人值守范例，赋能智能化运维，共同推动行业进步。
清华大学
2022-07-08
一种基于虚拟触控技术的投影装置
本实用新型提供一种基于虚拟触控技术的投影装置，包括分别连接到一主控制器的带滤光片的第一 摄像头、投影模块、通信模块、红外光发射器和用于捕捉移动终端设备外观图像的第二摄像头。当手指 触碰到投影模块在一界面表面上的投影时，阻断并反射红外光线，并会在按压点处出现光斑，该光斑被 第一摄像头接收送入主控制器进行二值化图像分析，确定光斑即手指按压点的位置。实现将移动终端设 备中的信息进行投影显示、文字的输入以及对移动终端设备显示屏中的内容进行操作等功能。本实用新 型简单方便，造价低廉，便于用户投影手机等移动终端设备内的信息，易于投入生产。
武汉大学
2021-04-13
低噪声海洋声矢量传感器
高性能低噪声海洋声/矢量传感器是一款专为海洋环境监测、海底油气资源勘探设计研发的高性能声学传感器。团队凭借丰富的海洋声/矢量传感器设计经验，提出了“材料-结构-系统”一体化闭环式设计，突破了声-电低噪声耦合技术，结合先进的电子技术与海洋声信号处理技术，创新工艺，充分发挥新一代高性能压电材料的性能优势，从根本上提升了传感器综合性能。
该传感器具有超低的自噪声，在相同测试条件下，与常规同类型传感器相比有接近15dB的信噪比提升。相关技术打破了国外同类技术封锁，处于国内领先、国际先进水平，对提升我国海洋装备性能具有重要的意义。该传感器现已成功应用于小尺度矢量声呐、探测浮标声呐系统、海底地震仪等海洋装备。
西北工业大学
2021-05-11
残余应力原位高能声束调控系统
残余应力原位高能声束调控系统通过高能声束耦合模式能够实现对任意曲面固体材料内残余应力的进行消减，具有单通道和多通道阵列消减模式，利用高能弹性波的能量改变残余应力势能场，从而达到消减和调控残余应力集中区域的目的。
北京理工大学
2021-02-01
扫描电子声（热波）显微镜
扫描电子声显微镜技术是在扫描电子显微镜的基础上发展起来的一种基于热声效应的无损检测技术。当扫描电子显微镜的探测电子束对样品进行扫描成像时，入射的电子会把入射的能量部分转化成热能，从而使样品表面及亚表面层的温度升高。通过对扫描电子束实现强度调制，从而使样品表面及亚表面周期性加热激发声波（电子声信号）。检测不同位置的声信号的振幅和相位，可分析样品在不同深度的结构、性质和参量，实现分层成像。由于电子束能聚焦得比较细，其成象分辨率优于光声显微镜，特别适合于
南京大学
2021-04-14
扫描光声（热波）显微镜
当固体物质受到周期性强度调制的光束照射时，物质吸收辐射能而受激发，然后通过非辐射去激励而将部分或全部吸收的光能转化为热能。周期性热流使周围的介质热胀冷缩，因而激发声波。检测声波信号可得到声波携带的热信号的振幅和相位，从而能分析样品在不同深度的结构、性质和参量，实现分层成象。可应用于半导体材料和器件（特别是集成电路）的研究、分层检测及其对生产工艺流程的控制等；层状或不均匀材料的分层研究和检测；各种固体残余应力的研究；
南京大学
2021-04-14
声矢量传感器与声学相机
声矢量传感器是一种可以探测声波矢量特性的高精度、集成化器件，具有体积小、灵敏度高、信噪比高等优势。南京光声超构材料有限公司联合南京大学、中科院声学所等国内一流声学团队，历经数年的合作研究，自主研制出基于质点振速原理的声学矢量传感器，掌握了MEMS器件制备、信号采集与分析等一整套核心技术，其探测指向性、信噪比等关键性能指标优于市场同类产品。这类产品的研制成功将有望填补国内的市场空白，解决智能制造、国防军事等领域的关键问题和迫切需求。
南京大学
2021-04-14
晶硅太阳电池生产虚拟仿真实训
晶硅太阳电池生产仿真实训让学员以车间技术人员的身份参与整条晶硅太阳电池产线的生产工作。学员可以按标准生产流程操作车间生产设备、检测生产样品以及对电池生产进行工艺仿真，从而深刻了解整个太阳电池生产流程以及关键工艺参数。
一.1.1. 场景设计
场景由制绒车间、扩散车间、后清洗车间、PECVD镀膜车间、丝网印刷车间和分选包装车间六大场景组成。场景素材从多个真实工厂采集而来，高保真还原车间设备与生产流程
场景模型主要包括：洁净车间、制绒机、自动上下料机、硅片、电子天平、分光光度计、电源柜、水冷机、空压机、化学液柜、电脑，键盘、鼠标、扩散炉、石英舟、插片房、传递窗、纯水箱、石英舟清洗槽、防毒面具、试验台、缓冲垫、防化服、源瓶、气柜、硅桨、方阻测试仪，万用表，石墨舟、PECVD镀膜机、舟车、烘箱、全自动丝网印刷机、网版、刮刀、搅拌机、桨料、夹具、接触电阻测试仪、烧结炉、IV分选仪、硅片盒、五格花蓝等...
一.1.2. 互动设计
第一人称视角控制主角场景漫游，学员可以在三维空间中自由活动和观察场景中的物体。
拾取物体操作采用3D空间实际抓取的方式，没有采用一般游戏中的背包栏方式，而当需要同时拾取多个物体时则提供3维工具用于装放，采取这种方式会更加接近现实，使学员更真实的体验实际工具的存放及使用的技巧。
各生产车间按照真实生产流程设计实训生产任务，完成当前任务后才能进入下一个任务，每个任务记录完成时间以及工艺仿真结果
缩略地图实时显示角色位置与任务点位置
第一人称视角与特写观察视角无缝平滑撤换
机器与设置仿真控制，通过机器控制面板设置工艺参数，控制启动生产，检测生产结果
表单填写与作业报告生成
使用仪器与设备检测生产样品
操作规程与关键知识点主动提示学习
原理动画演示
广东顺德宙思信息科技有限公司
2025-06-02
虚拟试衣间
一种虚拟试衣间，包括框体，所述框体正面靠近上端安装摄像头，位于摄像头下方设置显示屏，摄像头通过主控面板与显示屏连接并将捕捉到的图像显示在显示屏上，该虚拟试衣间还包括一具有称重功能的底板，所述底板一端与框体下端连接，相对另一端为自由端，所述底板与所述主控面板连接并将获得的试衣人员重量信息反馈至主控面板。本实用新型通过增加一具有称重功能的底板，利用摄像头、底板对试衣人员身高、重量进行全方位捕捉，然后利用计算机进行建模，提高了虚拟试衣的效果，可用于各种商场、购物中心，不需单独设置实体试衣间，节省了空间和费
安徽建筑大学
2021-01-12
电子虚拟翻书
产品详细介绍 www.feiran-touch.com 电子翻书发布资料 产品简介 » 地面，墙面，桌面均可实现互动，尺寸随意大小。空中翻书（也叫电子翻书、隔空翻书、虚拟翻书、魔幻书）在参观者面前呈现一本等离子电视方式或以投影机投影成像方式的虚拟书，参观者只需要站在展台前方，用手在空中挥动，即可实现翻书动作，并对页内内容进行点击，特有的翻书和查询功能。在书桌上、地面上勿需任何电线电缆或传感系统，安装维护非常方便。 特有的查询功能（可实现页内点击链接，可做书签以便快速到达想看的页面） 1、该种方式形式新颖，视觉冲击力强。 2、区别于传统的光电技术， 给人以神奇感。 3、沉浸式的形式更易为观众所接受。书页内容辅以动画或视频，更具吸引力。 空中翻书的展示形式可应用于各种博物馆、展览馆、临时展览等，或者是一些服务行业的自助型宣传广告形式。 系统设备：传感控制系统、投影机、计算机、书模、线缆辅材。 电子翻书 电子翻书又可称为虚拟翻书或者隔空翻书，本项目的外形犹如一本打开的书籍，里面可以记载丰富的资料。这些资料是通过投影设备投影上去的，观众可以动手“翻阅”书籍，感应设备会检测到观众的动作，它是用红外感应技术以及计算机多媒体技术实现的一种虚拟翻书的视觉效果，书本翻阅的效果是通过动画的方式由投影仪投影到书籍模型上。这种方式形式新颖，可展示的信息量大。 空中翻书展现在参观者面前的是一本以大屏幕电视或者投影机投影方式展现的电子书，参观者只需要站在展台前方，伸出手臂，在空中做出左右挥动手臂的动作，则计算机就能识别出参观者的动作，参观者面前的电子书就会随着手臂的左右挥动进行前后的翻页，看起来很是神奇。其原理是利用红外感应方式获取参观者的动作，并将该动作传输绐计算机进行处理，计算机内的应用程序则根据所捕捉的信号驱动多媒体动画进行翻书的效果表现。 该种展览方式形式新颖，视觉冲击力强，能够引起参观者极大的兴趣。 空中翻书的展示形式可应用于各种博物馆、展览馆、临时展览等，或者是一些服务行业的公共场合。空中翻书的书本可以有多种表现方式，根据屏幕数量可以分为单屏幕显示(例如大屏幕电视、投影机投影)，也可以是双屏幕显示(例如2台小显示器)；根据显示设备可分为大尺寸显示屏方式以及投影机方式，其中以投影机方式进行表现的翻书真实感很强，非常具有趣味性
上海斐冉信息技术有限公司
2021-08-23