自然场景视觉感知与理解是人工智能的前沿热点，其主要任务是对场景中的视觉要素进行认知，进而推断出其中包含的场景语义。IMAGINE实验室近年来相继从场景构成分析、场景内容推理、场景结构建模等角度对这一问题展开了系统研究，着重探索了融合先验建模与深度学习的自然场景视觉理解这一问题。大数据具有规模大、种类多、产生速度快、有价值数据密度低等特点。对大数据信息分析具有重要意义，也是目前研究的热点，其主要任务是利用数据分析的方法从大数据中获取有价值信息。IMAGINE实验室近年来结合深度学习前沿技术和传统数据分析方法进行数据分析和预测，并在海关大数据分析项目和国网电力冰风灾害预测项目中进行应用

01. 成果简介 本成果涉及一种多模态触觉感知装置，属于机器人传感器技术领域。与人类相似，机器人感知外界环境最真实、稳定、便捷的方式便是通过机器人手触摸，机器人手的感知能力决定了机器人是否能够正确认知外界环境以及机器人的操作精度、成功率等。在新一代机器人手中，传感装置已逐渐趋于阵列化、多功能化和集成化。目前常见的触觉传感器有压阻式、电容式、光电式等，它们都存在密度难以提高、电路处理复杂等问题。为了克服以上不足，近年出现了基于视觉的触觉传感装置，具有结构简单、信息丰富等优势。目前基于视觉的触感装置仍存在性能提升空间。 本项目将感温变色油墨材料应用于触感装置，感知机器人操作过程中的温度[1]。同时提出一种基于微视觉的触觉三维力检测方法，通过采集触觉接触区域内弹性体的形变图像的变化，采用一系列图像处理方法，并且使用神经网络拟合的技巧，定性并且定量的刻画物理世界中的触觉、滑觉等，从而提供了一种多模态触觉感知装置，可以得到三维接触力、接触物体表面的温度及纹理等多种模态信息[2]。本装置打破了传统触觉感知装置单模态信息采集的现状，可在同一感知装置中集成受力、纹理、温度等信息的测量，检测触觉、滑觉、压觉三维接触力，获得高精度的接触纹理信息，实现了多模态信息的测量，并将这些信息综合到对一个物体的识别、抓取操作中，使机器人更加智能化、人性化。本装置具有实时性好，检测稳定，检测误差小，检测精度高的优点。 图1. 基于微视觉的多模态触觉感知装置结构图图2. 结合多模态触感装置的机械手02. 应用前景 本成果技术可应用于工业机器人、智能机器人、人机协作、医疗康复等领域，应用前景广泛。03. 知识产权 本成果核心技术已申请发明专利3项。04. 团队介绍 项目团队致力于研究具备自主决策和学习能力的机器人操作技能学习系统。团队包括孙富春、方斌、刘华平、宋亦旭四位教师，专注智能机器人灵巧精准操作研究，研制了拟人触觉的传感装置、多模态穿戴交互装置、残疾人假肢灵巧手、仿人感知灵巧手和变刚度软体手，在本领域发表论文40余篇，申请专利20余项，获得IROS2016机器人灵巧操作比赛冠军、IROS2017服务机器人操作比赛亚军、WRC2016最佳科技创新奖等。同时团队和河北清华发展研究院合作成立了人工智能及机器人研究中心，共同推动智能机器人的产业化发展。05. 合作方式 技术许可。06. 联系方式 邮箱：liuyi2017@tsinghua.edu.cn， fangbin@tsinghua.edu.cn

研究意义1. 视觉感知是高铁、自动驾驶车辆、无人航行器等自动化设备实现环境感知的重要手段。2. 对运动状态下产生的图像模糊进行复原是计算机视觉领域的重要研究内容。3. 运动模糊对于基于视觉的目标检测算法的检测能力具有显著影响。 研究目标 本研究相机在直线运动状态下前进速度与目标检测算法在产 生的模糊图像上检测能力的关系。通过实验进行具体关系的 研究与分析。对模糊图像应用合适的去模糊算法，观察并分 析去模糊后目标检测能力的变化。

与高速飞行的飞机不同，微小型无人机体积小，重量轻，飞行速度低，更容易受到环境湍流的影响，需要高灵敏度的小型气流传感器提供全面的空气动力学信息。如何让微小型无人机像鸟类一样感知和操纵气流一直是航空和传感器领域的难题。 面向微小型无人机的飞行参数测量，北航研发团队研制出一种基于氧化钒的高灵敏度柔性流速传感器，实现了0.11 mm/s和0.1°的超高流速和角度分辨力，实验验证了攻角、侧滑角和空速的多参数感知能力，并完成了微小型无人机飞行速度以及机翼微振动的测量，为微小型无人机提供了低成本、高精度的大气参数传感方案。 该传感器基于量热式原理，由中心微加热器产生恒定温差，四周的热敏电阻阵列测量温度分布，根据热敏电阻阵列测得的温度差准确反映流速大小及方向。采用悬空型隔热结构以及高电阻温度系数材料氧化钒作为热敏电阻以增大传感器的测量灵敏度。在聚酰亚胺基底上通过MEMS工艺加工了总厚度90μm的超薄柔性流速传感器，实现了微小型无人机的曲面贴附功能。经风洞测试，流速传感器的理论分辨力达0.11 mm/s,流速测量重复精度约为测量值的0.5%，响应时间约为20ms。在10 m/s时，流速传感器的最大角度灵敏度为36.7 mV/deg，噪音水平为1.78 mV，根据2σ准则计算出其理论角度分辨力为0.1°。 研究团队已经完成流速传感器工程化样品的制备，并将两个流速传感器装载到一个微小型无人机平台上进行飞行参数感知应用。结果表明平均飞行速度的估计误差低于0.2 m/s。由于流速传感器的高灵敏度特性，它甚至捕捉到了机翼的微振动信息，并与外置IMU模块显示了相同的机翼振动频率。这项研究展示了一种柔性高灵敏度流速传感器，拓宽了流场感知在微小型无人机姿态检测、空速估计以及飞行安全监测方面的应用，为无人机的飞行参数测量提供了创新的设计思路与发展前景。

Anter是以安全协作、自主运动、智能感知、行为决策为核心功能的多模态感知复合机器人。她开创了机器人协作、运动、感知决策的柔性工作模式，摆脱传统机器人位置固定、任务固定的结构化环境工作方式，适用于科研教育、工业移动作业、物流分拣、仓储管理、安防巡检、医疗服务、智慧零售等领域。

1 概述 本产品核心技术指标分为四个维度：线控技术、无人驾驶技术、通讯技术、云控技术。线控技术是底层核心技术，线控子系统系统可以做到100ms内高精度控制响应；通讯技术是规划化的前置条件，可以进行低延时远程画面回传，实现远程驾驶双备份；无人驾驶是单车载体的控制中心，基于主流无人驾驶系统Apollo二次开发，接口丰富；云控技术是构建园区场景大脑，实现多车状态的实时监测。 2 优势与特点 （1）基于Apollo开源平台，软件开发门槛低 （2）整合底盘与感知套件，硬件开发门槛低 （3）“车+云”研发模式，降低工程门槛 （4）可适配多种规格底盘，满足多样需求 3 主要应用案例 序号 应用单位 应用时间 备注 1 吉林大学（校园无人配送） 2019年12月   2 北京经济技术开发区（亦庄） 2020年1月   3 北京理工大学国防科技园智能示范 2020年9月    

通过在公交车相关位置安装各种传感器安装，建立公交车环境感知系统。根据环境感知系统信息，结合 GPS 导航数据，根据本车自身行驶状态并结合规划路径，利用深度学习训练的驾驶模型计算出车控数据，作出准确的行驶路径规划。

针对无人机面临的网络与系统层面的安全威胁，在 GF 基础科研、装备预研项目等重大项目支撑下，研发了具有完全自主知识产权的无人机安全防护系统，从无人机系统安全、无人机通信安全、无人机应用安全三大安全需求出发，突破了飞控形式化建模及代码自动生成、安全形式化验证、可信计算、区块链等关键技术，发明了满足安全与安保需求的飞控系统代码自动化生成技术，实现了符合实时性要求的无人机飞控系统安全性验证与运行监控，实现构建了“开发 - 运行 - 维护”的飞控系统全生命周期的一体化一体化无人系统安全防御体系。 截止目前，无人机安全防护系统已经历技术研发、原理样机开发两个阶段，技术成熟度达到 4 级，相关技术已应用于国产大飞机 C919、国产嵌入式操作系统“天脉”，持续深入推进军民融合协同发展。 主要技术指标 在无人机飞行控制系统开发阶段，从安全与安保需求出发，支持对无人机飞控模块进行形式化建模及关键软件组件的代码自动化生成，并且对自动生成的飞控核心代码进行自动化及组合验证，覆盖率不小于 90%；在运行阶段，基于可信计算及分区隔离技术，无人机安全防护系统的动态安全事件响应速度小于 500ms；并且，针对无人机集群以、无人机与地面站通信两种应用场景，支持机 - 站接入认证及批量认证、机群群组密钥管理，安全性至少达到 80bit 安全。

针对微型无人机，由于载荷的限制无人机本身不能承担地面标识位置解算等繁杂大量的计算以及无人机在运动过程中图像特征提取精度不高导致地面标识位置解算精度有待提高，因此考虑将辅助降落/回收系统嵌入到地面回收基座中，从而辅助无人机安全降落。

上海交通大学“控制科学与工程”学科是在1974年建立的“船舶惯性导航自动控制专业”基础上发展起来的国家重点学科，在船舶控制、岸船信息系统、水下通信、舰船消磁和机器人等领域有着长期的积累。 无人船团队依靠学科雄厚的科研实力，于2013年牵头建立了上海高校船舶自动化工程研究中心，面向船舶救援和水下地形测绘等行业应用开发了具有动力定位能力的智能无人船。 该船系统组成包括姿态位置感知子系统、姿态位置控制子系统、推进子系统、环境感知子系统、无线通信子系统、推力分配子系统和监控子系统，集成了GPS、电子罗盘、惯性导航、测深仪、气温、风速、风向、水温、水上与水下摄像头、水下声纳、水样采集仪等仪器，采用了先进控制技术、干扰预测和补偿技术、智能推力分配技术、远距离通信技术和数据采集处理技术，具备厘米级动力定位和循迹精度，20km通信和监测距离，自身姿态和环境参数动态感知能力，以及自主操作和自主避障能力。 该船可广泛用于水质监测、水文测量、水上水下监测、船舶救援和水下地形测绘等行业，大大提高了工作效率、降低人员工作强度。所开发的动力定位等高端技术还可应用于深海油气资源开发、海底施工、船舶救援、船舶动态补给、舰船扫雷和海岛布防等领域。