支持大数据理解的头戴式无障碍呈现技术装备与云服务平台

一、项目简介

当前虚实融合技术面临的重大挑战可以归结为以下两个关键科学问题：（1）非配合虚实环境的无缝融合与交互自然呈现。（2）云环境下虚实融合环境的语义理解、统一表达与应用软件快速定制。为解决上述两个关键科学问题和技术瓶颈，本项目重点研究了自然虚实融合呈现的硬软件技术和装置，构建虚实融合应用流程框架和规范，创新云软件定制和服务模式，实现应用示范。充分利用移动、穿戴式设备的多传感器优势以及云端结合方式进行三维结构的重建、语义标注、识别理解与信息关联。

二、前期研究基础

目前已发表论文10篇，包括4篇期刊论文等（包括TIP、TMM等权威期刊论文）。申请专利3 项。

三、应用技术成果

1）基于搜索的图像深度估计，相对误差低于传统方法，对训练集的需求小于基于深度学习的方法。

Make3D数据集的深度估计结果

2）基于双模深度玻尔兹曼机（DBM）的三维场景物体检测框架，给出了RGBD训练数据不足的难题，流程如下

3）基于序列约束的哈希算法在不同比特率情况下均取得了很好的效果。

在LabelMe和Tiny100K上使用不同哈希比特率的效果