利用多机器人和多模态视觉传感器有效探索与感知复杂 环境的三维结构，进而理解和分析三维场景。研究从多源异 构的机器人定位与建图等环境感知方面、多模态融合的前景 分割、显著性检测和目标检测等场景分析方面取得突破。

清华大学公共安全研究院和北京辰安科技股份有限公司快速搭建了疫情实时态势感知与分析系统，对区域疫情数据进行实时动态监测、搜集、分析和可视化，服务各级政府疫情应急的资源调度、态势研判和决策指挥。该系统在实时播报全国和世界范围内疫情最新动态的同时，对省级和地市级的人员迁徙比例与分布进行重点信息排查，密切关注人口流动与疫情分布的内在联系，为疫情跨区域传播规律和病例溯源提供依据。该系统深入剖析大数据并探查民众意识和情感倾向，研判民众主流感情倾向和重点关注事件等疫情相关舆情，以“情感分析拼图”、“事件文章热词云”和“全国舆情热度”等分析结果为引证，为辟谣和积极引导舆论提供帮助，在国家抗击疫情最为严重困难的时期为大众的理性思考和科学防备贡献力量。国疾病预防控制中心以及广东省、武汉市、合肥市、深圳市、广州市、佛山市等20多个省市在指挥调度中使用该系统。

自然场景视觉感知与理解是人工智能的前沿热点，其主要任务是对场景中的视觉要素进行认知，进而推断出其中包含的场景语义。IMAGINE实验室近年来相继从场景构成分析、场景内容推理、场景结构建模等角度对这一问题展开了系统研究，着重探索了融合先验建模与深度学习的自然场景视觉理解这一问题。大数据具有规模大、种类多、产生速度快、有价值数据密度低等特点。对大数据信息分析具有重要意义，也是目前研究的热点，其主要任务是利用数据分析的方法从大数据中获取有价值信息。IMAGINE实验室近年来结合深度学习前沿技术和传统数据分析方法进行数据分析和预测，并在海关大数据分析项目和国网电力冰风灾害预测项目中进行应用

01. 成果简介 本成果涉及一种多模态触觉感知装置，属于机器人传感器技术领域。与人类相似，机器人感知外界环境最真实、稳定、便捷的方式便是通过机器人手触摸，机器人手的感知能力决定了机器人是否能够正确认知外界环境以及机器人的操作精度、成功率等。在新一代机器人手中，传感装置已逐渐趋于阵列化、多功能化和集成化。目前常见的触觉传感器有压阻式、电容式、光电式等，它们都存在密度难以提高、电路处理复杂等问题。为了克服以上不足，近年出现了基于视觉的触觉传感装置，具有结构简单、信息丰富等优势。目前基于视觉的触感装置仍存在性能提升空间。 本项目将感温变色油墨材料应用于触感装置，感知机器人操作过程中的温度[1]。同时提出一种基于微视觉的触觉三维力检测方法，通过采集触觉接触区域内弹性体的形变图像的变化，采用一系列图像处理方法，并且使用神经网络拟合的技巧，定性并且定量的刻画物理世界中的触觉、滑觉等，从而提供了一种多模态触觉感知装置，可以得到三维接触力、接触物体表面的温度及纹理等多种模态信息[2]。本装置打破了传统触觉感知装置单模态信息采集的现状，可在同一感知装置中集成受力、纹理、温度等信息的测量，检测触觉、滑觉、压觉三维接触力，获得高精度的接触纹理信息，实现了多模态信息的测量，并将这些信息综合到对一个物体的识别、抓取操作中，使机器人更加智能化、人性化。本装置具有实时性好，检测稳定，检测误差小，检测精度高的优点。 图1. 基于微视觉的多模态触觉感知装置结构图图2. 结合多模态触感装置的机械手02. 应用前景 本成果技术可应用于工业机器人、智能机器人、人机协作、医疗康复等领域，应用前景广泛。03. 知识产权 本成果核心技术已申请发明专利3项。04. 团队介绍 项目团队致力于研究具备自主决策和学习能力的机器人操作技能学习系统。团队包括孙富春、方斌、刘华平、宋亦旭四位教师，专注智能机器人灵巧精准操作研究，研制了拟人触觉的传感装置、多模态穿戴交互装置、残疾人假肢灵巧手、仿人感知灵巧手和变刚度软体手，在本领域发表论文40余篇，申请专利20余项，获得IROS2016机器人灵巧操作比赛冠军、IROS2017服务机器人操作比赛亚军、WRC2016最佳科技创新奖等。同时团队和河北清华发展研究院合作成立了人工智能及机器人研究中心，共同推动智能机器人的产业化发展。05. 合作方式 技术许可。06. 联系方式 邮箱：liuyi2017@tsinghua.edu.cn， fangbin@tsinghua.edu.cn

研究意义1. 视觉感知是高铁、自动驾驶车辆、无人航行器等自动化设备实现环境感知的重要手段。2. 对运动状态下产生的图像模糊进行复原是计算机视觉领域的重要研究内容。3. 运动模糊对于基于视觉的目标检测算法的检测能力具有显著影响。 研究目标 本研究相机在直线运动状态下前进速度与目标检测算法在产 生的模糊图像上检测能力的关系。通过实验进行具体关系的 研究与分析。对模糊图像应用合适的去模糊算法，观察并分 析去模糊后目标检测能力的变化。

Anter是以安全协作、自主运动、智能感知、行为决策为核心功能的多模态感知复合机器人。她开创了机器人协作、运动、感知决策的柔性工作模式，摆脱传统机器人位置固定、任务固定的结构化环境工作方式，适用于科研教育、工业移动作业、物流分拣、仓储管理、安防巡检、医疗服务、智慧零售等领域。

本发明在智能手机中传感器应用为上下文感知服务基础上，提出了一种为上下文感知应用程序使用的低功耗传感器轮询方法。该方法可以动态清除不必要的传感器活动，从而使得这些传感器可以更长时间地保持睡眠状态。同时也提出了一种寻找应用请求与传感器活动间关系的方法。采用这种方法，轮询调度器总能计算并匹配用户调用的多种应用程序组合探测频率来引导低功耗轮询以避免非必须活动。使用不同上下文应用程序对此方法进行评估，结果表明中间件中低功耗轮询响应时间极小(97ms)，与传统穷举轮询操作相比，大约可以节约70％的能耗，该上下文感知服务实现可以减少智能手机的传感器能耗并延长其电池使用时间。

本发明提出一种逐点扫描数字微镜阵列相机。该相机包括：物体光源、透镜组、DMD阵列、感光片、A/D转换器、DSP处理器组成。透镜组将景物光线投向DMD阵列上面，通过控制DMD阵列上面数字微镜逐点翻转，实现对景物光线的逐点扫描。DMD阵列然后将逐点扫描后的景物光线反射到感光片上成像，通过A/D转换器将每个像素上光电信号转变为数码信号，再经过DSP处理成数码图像，存储到存储介质当中。本发明利用DMD阵列的逐点扫描提高了成像的速度，节省拍摄时间。

产品详细介绍产品简介MV-E系列工业相机为维视推出的高分辨率以太网工业相机，该系列相机为800万像素以上相机，采用更加稳定和通用的千兆以太网络进行传输，相机功耗低、散热良好，具有图像质量清晰、稳定等特点，支持IO信号输入输出，配套多种主流语言开发包及例程，同时支持第三方图像处理软件直接调用，主要应用于高精度视觉检测、尺寸测量、缺陷检测、科学研究等方向，配合双远心光学镜头效果更佳，是您机器视觉项目图像高清获取的理想之选。工业相机产品特点● 采用千兆以太网接口，理论支持100米传输距离● 采用大型数据包形式传输，减少对中断的处理，性能更加稳定● 采用高品质感光器件，较低的功耗及优良的算法，使得图像清晰、低噪声、色彩还原度好● 支持1路外触发输入，可从IO卡/PLC等设备获取控制信号，提高图像获取同步性● 支持1路信号输出，可随曝光时间或自定义输出，如控制频闪灯● CMOS相机支持AOI/ROI进行局部曝光，并提高采集帧率● 支持断网续传功能，在网络断开重新连接时，可自动继续工作● 随机附赠VB/VB.NET/VC/C#/QT等例程并提供源代码方便用户参考及二次开发● 兼容Halcon、Labview、VisionPro、Matlab等第三方图像处理软件● 支持Windows XP、Win7、Win8、Win10操作系统 性能参数C接口相机型号 MV-E800M/C MV-E1000C MV-E1200M/C MV-E1400C最高分辨率 3312×2496 3984×2712 4080*3066 4620×3084像素尺寸 3.88μm×3.88μm 3.4μm×3.4μm 3.1μm×3.1μm 2.86μm×2.86μm传感器类型 CCD CMOS CMOS CMOS光学尺寸 1" 1" 1" 1"有效感光面积 12.8mm×9.6mm 13.5mm×9.2mm 12.7mm×9.5mm 13.5mm×8.8mm最大帧率 14 fps 10 fps 6 fps 7 fps帧存 3帧/128MB 3帧/128MB 3帧/128MB 3帧/128MB曝光时间 黑白：33-100000μs彩色：33-500000μs 300-500000μs 100-78000μs 300-500000μs输出颜色 M为黑白,C为彩色 彩色 M为黑白,C为彩色 彩色数据位数 8 8 8 8曝光方式 帧曝光 行曝光 行曝光 行曝光I/O接口 12芯I/O 12芯I/O 12芯I/O 12芯I/O采集方式 连续/外触发/软触发 连续/外触发/软触发 连续/外触发/软触发 连续/外触发/软触发输出方式 GigE千兆以太网输出(1000Mbit/s) GigE千兆以太网输出(1000Mbit/s) GigE千兆以太网输出(1000Mbit/s) GigE千兆以太网输出(1000Mbit/s)传输距离 100米 100米 100米 100米可编程控制 增益、帧率、曝光时间 增益、帧率、曝光时间 增益、帧率、曝光时间 增益、帧率、曝光时间镜头接口 C口 C口 C口 C口供电要求 DC 12V DC 12V DC 12V DC 12V功耗 4W 3.5W 2W 4W外形尺寸 50mm×50mm×48mm 50mm×50mm×48mm 50mm×50mm×48mm 50mm×50mm×48mm重量 145g 145g 145g 145gF接口相机型号 MV-E1600M/C-M MV-E2900M/C-M MV-E7000M/C最高分辨率 4896×3264 6576×4384 10000×7000像素尺寸 5.5μm×5.5μm 5.5μm×5.5μm 3.1μm×3.1μm传感器类型 CCD CCD CMOS光学尺寸 ASP-H 35mm 35mm有效感光面积 26.9mm×18mm 36mm×24mm 31mm×21.7mm最大帧率 5 fps 2.5 fps 1.5 fps帧存 3帧/128MB 3帧/128MB 3帧/128MB曝光时间 30-1000000μs 30-1000000μs 100μs~500ms输出颜色 M为黑白,C为彩色 M为黑白,C为彩色 M为黑白,C为彩色数据位数 8 8 8曝光方式 帧曝光 帧曝光 行曝光I/O 12芯I/O 12芯I/O 12芯I/O同步方式 连续/外触发/软触发 连续/外触发/软触发 连续/外触发/软触发输出方式 GigE千兆以太网输出(1000Mbit/s) GigE千兆以太网输出(1000Mbit/s) GigE千兆以太网输出(1000Mbit/s)数据传输距离 100米 100米 100米可编程控制 增益、帧率、曝光时间 增益、帧率、曝光时间 增益、帧率、曝光时间镜头接口 F口 F口 M72供电要求 DC 12V DC 12V DC 12V功耗 6W 6W 7.5W外形尺寸 60mm×60mm×150mm 60mm×60mm×150mm 76mm×76mm×71mm重量 420g 420g 360g