本项目面向室内外环境下对目标和环境的可靠快速感知需求，突破高性能主动适应的混合稳像、动态目标快速搜索追踪、智能探索感知的快速地图创建和定位与场景理解关键技术，研制具有高稳定性、宽视野功能的仿生眼样机一套，可实现快速追踪动态目标，实现环境三维建模与场景理解，成果将为机器人智能化、自主化导航提供主动感知的新途径。重点开展如下研究： 1）具有高稳定性、宽视野功能的仿生眼研制 研究仿生眼的结构高动态轻量化优化设计及优化的电机驱动方式，提出眼球各自独立运动、眼颈协调的关节配置方案，研究多轴关节的实时同步控制，研究图像传感器、IMU传感器及RGBD传感器的硬件高精度同步方法及GPU加速方法，实现对环境的高精度时间同步视觉感知。 2）高性能主动适应的混合稳像算法 针对图像抖动模糊问题，研究主动适应的机电混合稳像算法；结合姿态反馈信息通过眼颈关节协调进行适应性姿态调整去除低频扰动，通过IMU及图像时间序列进行相机6D位姿估计与滤波消除高频扰动，实现主动适应混合稳像算法。 3)动态目标快速搜索追踪算法 针对快速运动的视觉目标，研究基于深度强化学习和注意力机制的目标跟踪算法；同时研究基于眼颈运动神经回路控制机理的眼颈协调优化视觉伺服跟踪算法，使冗余眼颈关节实现优化协调运动，实现时间最优快速目标追踪。 4）智能快速地图创建和定位与场景理解 针对未知场景，基于双眼RGB图像序列及深度传感器信息，生成仿生眼环境观测的序列决策指令，实现更优更快的环境地图创建。实现室外环境三维建模与场景理解。

成果简介立体显示技术与传统二维显示技术相比， 可以提供场景的更为全面的信息，其优点是显而易见的， 具有十分广阔的应用市场。传统的立体图象显示需要佩带偏振眼镜、 互补色眼镜、 液晶眼镜或头盔之类的辅助工具， 人眼除了观看屏幕外， 做其他工作十分不便。 裸眼立体显示技术无需佩带眼镜即可获得立体视觉， 具有更大的灵活性和实用性。 裸眼 3D 技术将在电子游戏、 电影、 电视、 广告、 医学等各领域全面铺开， 具有极为广阔的市场前景。3D 技术的迅速发展和技术革新的突飞猛进， 给

 本课题针对太空服务机器人感知系统开展研究工作，重点研究基于脑电、肌电生物电信号及语音信号的多模式、微型化、智能化的人机交互接口系统，以快速、可靠地提取并识别脑电、肌电、语音信号，将之转换为太空服务机器人的作业任务和动作指令，并通过已开发的服务机器人验证模拟航天特因环境下该系统的可行性，探索多模式人机交互接口技术的实用化方法，为我国出舱活动机器人未来可在载人航天工程中应用提供可行性技术依据。 课题组在系统的研发和测试过程中，同中国人民解放军航天员科研训练中心进行卓有成效的合作，项目所开发的多模式微型化人机交互平台在航天员科研训练中心航天特因模拟环境下进行各项测试。测试结果表明，项目开发的样机已经具备航天特因模拟环境所要求的技术特征。该系统的研发成功，将推动多模式脑机接口技术在航空航天领域的应用。

用于铸造生产现场准确评价铸铁、铸钢、铝合金、铜合金等线收缩、内应力、热裂的新型仪器。测试时，液态合金浇入湿型砂砂型中，系统可自动鉴别被测合金的凝固特性参数。该系统具有体积小、造型和砂箱定位简单准确、测量准确率高、可靠性好、抗干扰性强和操作方便等优点。

利用多机器人和多模态视觉传感器有效探索与感知复杂 环境的三维结构，进而理解和分析三维场景。研究从多源异 构的机器人定位与建图等环境感知方面、多模态融合的前景 分割、显著性检测和目标检测等场景分析方面取得突破。

清华大学公共安全研究院和北京辰安科技股份有限公司快速搭建了疫情实时态势感知与分析系统，对区域疫情数据进行实时动态监测、搜集、分析和可视化，服务各级政府疫情应急的资源调度、态势研判和决策指挥。该系统在实时播报全国和世界范围内疫情最新动态的同时，对省级和地市级的人员迁徙比例与分布进行重点信息排查，密切关注人口流动与疫情分布的内在联系，为疫情跨区域传播规律和病例溯源提供依据。该系统深入剖析大数据并探查民众意识和情感倾向，研判民众主流感情倾向和重点关注事件等疫情相关舆情，以“情感分析拼图”、“事件文章热词云”和“全国舆情热度”等分析结果为引证，为辟谣和积极引导舆论提供帮助，在国家抗击疫情最为严重困难的时期为大众的理性思考和科学防备贡献力量。国疾病预防控制中心以及广东省、武汉市、合肥市、深圳市、广州市、佛山市等20多个省市在指挥调度中使用该系统。

自然场景视觉感知与理解是人工智能的前沿热点，其主要任务是对场景中的视觉要素进行认知，进而推断出其中包含的场景语义。IMAGINE实验室近年来相继从场景构成分析、场景内容推理、场景结构建模等角度对这一问题展开了系统研究，着重探索了融合先验建模与深度学习的自然场景视觉理解这一问题。大数据具有规模大、种类多、产生速度快、有价值数据密度低等特点。对大数据信息分析具有重要意义，也是目前研究的热点，其主要任务是利用数据分析的方法从大数据中获取有价值信息。IMAGINE实验室近年来结合深度学习前沿技术和传统数据分析方法进行数据分析和预测，并在海关大数据分析项目和国网电力冰风灾害预测项目中进行应用

01. 成果简介 本成果涉及一种多模态触觉感知装置，属于机器人传感器技术领域。与人类相似，机器人感知外界环境最真实、稳定、便捷的方式便是通过机器人手触摸，机器人手的感知能力决定了机器人是否能够正确认知外界环境以及机器人的操作精度、成功率等。在新一代机器人手中，传感装置已逐渐趋于阵列化、多功能化和集成化。目前常见的触觉传感器有压阻式、电容式、光电式等，它们都存在密度难以提高、电路处理复杂等问题。为了克服以上不足，近年出现了基于视觉的触觉传感装置，具有结构简单、信息丰富等优势。目前基于视觉的触感装置仍存在性能提升空间。 本项目将感温变色油墨材料应用于触感装置，感知机器人操作过程中的温度[1]。同时提出一种基于微视觉的触觉三维力检测方法，通过采集触觉接触区域内弹性体的形变图像的变化，采用一系列图像处理方法，并且使用神经网络拟合的技巧，定性并且定量的刻画物理世界中的触觉、滑觉等，从而提供了一种多模态触觉感知装置，可以得到三维接触力、接触物体表面的温度及纹理等多种模态信息[2]。本装置打破了传统触觉感知装置单模态信息采集的现状，可在同一感知装置中集成受力、纹理、温度等信息的测量，检测触觉、滑觉、压觉三维接触力，获得高精度的接触纹理信息，实现了多模态信息的测量，并将这些信息综合到对一个物体的识别、抓取操作中，使机器人更加智能化、人性化。本装置具有实时性好，检测稳定，检测误差小，检测精度高的优点。 图1. 基于微视觉的多模态触觉感知装置结构图图2. 结合多模态触感装置的机械手02. 应用前景 本成果技术可应用于工业机器人、智能机器人、人机协作、医疗康复等领域，应用前景广泛。03. 知识产权 本成果核心技术已申请发明专利3项。04. 团队介绍 项目团队致力于研究具备自主决策和学习能力的机器人操作技能学习系统。团队包括孙富春、方斌、刘华平、宋亦旭四位教师，专注智能机器人灵巧精准操作研究，研制了拟人触觉的传感装置、多模态穿戴交互装置、残疾人假肢灵巧手、仿人感知灵巧手和变刚度软体手，在本领域发表论文40余篇，申请专利20余项，获得IROS2016机器人灵巧操作比赛冠军、IROS2017服务机器人操作比赛亚军、WRC2016最佳科技创新奖等。同时团队和河北清华发展研究院合作成立了人工智能及机器人研究中心，共同推动智能机器人的产业化发展。05. 合作方式 技术许可。06. 联系方式 邮箱：liuyi2017@tsinghua.edu.cn， fangbin@tsinghua.edu.cn

研究意义1. 视觉感知是高铁、自动驾驶车辆、无人航行器等自动化设备实现环境感知的重要手段。2. 对运动状态下产生的图像模糊进行复原是计算机视觉领域的重要研究内容。3. 运动模糊对于基于视觉的目标检测算法的检测能力具有显著影响。 研究目标 本研究相机在直线运动状态下前进速度与目标检测算法在产 生的模糊图像上检测能力的关系。通过实验进行具体关系的 研究与分析。对模糊图像应用合适的去模糊算法，观察并分 析去模糊后目标检测能力的变化。