皮肤组织是人体最大的器官。它主要负责人体内部与外部的隔离与沟通，起到保护体内环境、排汗和感受外部刺激的功能。由于直接接触紫外光、化学物质等，皮肤的病变机率非常大。皮肤病能给患者带来瘙痒、疼痛、及各种美容问题，严重影响患者的身心健康，甚至影响患者的生命。因此，皮肤病的早期、准确的诊断和治疗至关重要。

01. 成果简介 本成果涉及一种多模态触觉感知装置，属于机器人传感器技术领域。与人类相似，机器人感知外界环境最真实、稳定、便捷的方式便是通过机器人手触摸，机器人手的感知能力决定了机器人是否能够正确认知外界环境以及机器人的操作精度、成功率等。在新一代机器人手中，传感装置已逐渐趋于阵列化、多功能化和集成化。目前常见的触觉传感器有压阻式、电容式、光电式等，它们都存在密度难以提高、电路处理复杂等问题。为了克服以上不足，近年出现了基于视觉的触觉传感装置，具有结构简单、信息丰富等优势。目前基于视觉的触感装置仍存在性能提升空间。 本项目将感温变色油墨材料应用于触感装置，感知机器人操作过程中的温度[1]。同时提出一种基于微视觉的触觉三维力检测方法，通过采集触觉接触区域内弹性体的形变图像的变化，采用一系列图像处理方法，并且使用神经网络拟合的技巧，定性并且定量的刻画物理世界中的触觉、滑觉等，从而提供了一种多模态触觉感知装置，可以得到三维接触力、接触物体表面的温度及纹理等多种模态信息[2]。本装置打破了传统触觉感知装置单模态信息采集的现状，可在同一感知装置中集成受力、纹理、温度等信息的测量，检测触觉、滑觉、压觉三维接触力，获得高精度的接触纹理信息，实现了多模态信息的测量，并将这些信息综合到对一个物体的识别、抓取操作中，使机器人更加智能化、人性化。本装置具有实时性好，检测稳定，检测误差小，检测精度高的优点。 图1. 基于微视觉的多模态触觉感知装置结构图图2. 结合多模态触感装置的机械手02. 应用前景 本成果技术可应用于工业机器人、智能机器人、人机协作、医疗康复等领域，应用前景广泛。03. 知识产权 本成果核心技术已申请发明专利3项。04. 团队介绍 项目团队致力于研究具备自主决策和学习能力的机器人操作技能学习系统。团队包括孙富春、方斌、刘华平、宋亦旭四位教师，专注智能机器人灵巧精准操作研究，研制了拟人触觉的传感装置、多模态穿戴交互装置、残疾人假肢灵巧手、仿人感知灵巧手和变刚度软体手，在本领域发表论文40余篇，申请专利20余项，获得IROS2016机器人灵巧操作比赛冠军、IROS2017服务机器人操作比赛亚军、WRC2016最佳科技创新奖等。同时团队和河北清华发展研究院合作成立了人工智能及机器人研究中心，共同推动智能机器人的产业化发展。05. 合作方式 技术许可。06. 联系方式 邮箱：liuyi2017@tsinghua.edu.cn， fangbin@tsinghua.edu.cn

1.痛点问题 在临床医学实践过程中，会产生医学图像、电子病历、生命组学等多种类型的医学数据，这些数据能够从不同角度对患者的病情进行刻画。因此实现多模态临床医学数据的自动化和智能化分析，有利于推动国家健康医疗大数据产业的发展，助力“健康中国”战略的实施。 我国不同地区医疗水平差异较大，医疗资源在空间上分配不均。某些科室如影像科、病理科有较大的医师缺口，供需矛盾突出。这种供需不匹配的问题也造成了医生工作负担加重，患者等待检查结果周期变长等诸多问题。在当前情况下，短期内无法通过培养更多的新医生来缓解医疗资源供需紧张的问题。 为缓解上述问题，目前已有企业推出了基于人工智能的辅助诊疗产品，但这些产品大都针对单一模态的医学数据，无法从整体的视角进行辅助诊断和决策，辅助诊断的准确性仍有较大的提升空间。 基于以上痛点问题和产业机遇，我们希望通过技术创新，研发出一套有效的多模态医学数据智能分析系统，应用“多模态医学数据+人工智能”的技术模式，缓解当前医疗资源供需紧张的社会问题。 2.解决方案 本项目旨在研发对多模态医学数据进行有效整合分析的人工智能方法。处理的数据类型包括：患者的医学图像、电子病历、生命组学等多种模态的医学数据。针对医学图像数据，构建目标检测与分割、特征提取、相似图片检索等智能化算法；针对电子病历数据，构建分词、医学实体识别和标准化算法；针对生命组学数据，研究基因突变致病性预测的深度学习算法。上述多模态医学数据智能分析技术为基础，研发多模态医学数据智能分析的系列软件产品，为医院提供人工智能辅助诊断等应用产品。 3.合作需求 寻求与医疗机构、医疗设备耗材企业、远程病理运营企业开展相应的合作。

皮肤组织是人体最大的器官。它主要负责人体内部与外部的隔离与沟通，起到保护体内环境、排汗和感受外部刺激的功能。由于直接接触紫外光、化学物质等，皮肤的病变机率非常大。皮肤病能给患者带来瘙痒、疼痛、及各种美容问题，严重影响患者的身心健康，甚至影响患者的生命。因此，皮肤病的早期、准确的诊断和治疗至关重要。

Anter是以安全协作、自主运动、智能感知、行为决策为核心功能的多模态感知复合机器人。她开创了机器人协作、运动、感知决策的柔性工作模式，摆脱传统机器人位置固定、任务固定的结构化环境工作方式，适用于科研教育、工业移动作业、物流分拣、仓储管理、安防巡检、医疗服务、智慧零售等领域。

成果简介基于对冶金过程气、 液、 固的流动在理论上的深刻认识， 采用物理模拟的方法， 多年来一直为各钢铁企业提供工艺优化的技术服务， 包括钢包吹气流场优化，中间包流场优化， 结晶器流场优化， 高炉冷却壁内流动模拟， 复吹转炉炉型优化，顶枪枪位、 底枪布置位置、 流量等。 所做项目涉及到各种大小的钢包， 不同容量不同流数的中间包， 小方坯、 板坯、 异形坯、 圆坯结晶器等。成熟程度和所需建设条件先后成功为马钢、 南钢、 宝钢梅山、 莱钢、 中天、 济钢等大中小型钢铁企业的方、 圆、 板坯连铸机， 精炼炉等提供过工艺优化服务， 显著提高了铸坯的质量。部分项目： 马钢异型坯结晶器流场的优化研究； 马钢 CSP 薄板坯中间包、 结晶器流场的数模、 水模研究； 梅山板坯中间包流场的数模、 水模研究； 上海亚新连铸8 流方坯中间包流场的数模、 水模研究； 莱钢 4 流方坯中间包的数模、 水模研究；马钢钢包吹气对流场的影响研究； 中天钢铁 10 流方坯中间包流场优化研究； 南钢板坯中间包、 结晶器的流场优化研究； 济钢板坯中间包、 结晶器的流场优化研究； 分别对不同吨位的钢包（250 吨、 150 吨、 120、 100 吨、 80 吨、 60 吨） 低吹氩模式、 透气砖类型等进行过深入的研究。技术指标优化了钢包、 中间包和结晶器的流场， 有效去除了夹杂， 净化了钢水。市场分析和应用前景工艺优化始终伴随着钢铁企业的生产， 通过不断的优化， 产品质量得到不断的提升， 具有广泛的应用前景。社会经济效益分析工艺优化有助于加强产品竞争力， 具有显著的经济效益。知识产权及成果获奖情况编著： 《中间包冶金学》《冶金传输原理》合作方式合作开发、 受托开发联系方式冶金学院 周俐 13955561593 zhouli@ahut.edu.cn 传真： 0555-2311571

基于对冶金过程气、液、固的流动在理论上的深刻认识，采用物理模拟的方法，多年来一直为各钢铁企业提供工艺优化的技术服务，包括钢包吹气流场优化，中间包流场优化，结晶器流场优化，高炉冷却壁内流动模拟，复吹转炉炉型优化，顶枪枪位、底枪布置位置、流量等。所做项目涉及到各种大小的钢包，不同容量不同流数的中间包，小方坯、板坯、异形坯、圆坯结晶器等。

荧光显微成像是分子生物学研究的主要手段，然而由于激发光的高光子通量和光毒性，成像总次数受限，因而目前还未能全面揭露细胞内部细胞器的相互作用及动态过程。活细胞的高分辨长时程成像目前仍然是生物学研究中的巨大挑战，由于轴向扫描速度的限制，三维荧光成像需要更大的激发光子通量，而光漂白效应则极大限制了三维成像的总时长。同时，由于荧光光谱较宽，成像过程中通道数目受限，荧光成像一般仅能同时标记有限种类的分子。而电镜等辅助成像手段虽可观察多种细胞器，但仅能提供静态快照作为辅助。光学衍射层析显微成像具有光通量低，光毒性小的特点，可有效解决荧光成像遇到的问题。光学衍射层析成像系统中，先前的工作缺少荧光成像作为辅助，衍射层析图像中的多数结构缺乏标定，仅能进行形态学分析。传统光学衍射层析成像中，也仅对脂滴、染色体和线粒体进行了结合宽场荧光成像的鉴别标定。 北大研究团队提出一种结合光学衍射层析显微成像和结构光照明超分辨荧光成像的双模态显微成像方法，用超分辨荧光成像辅助光学衍射层析进行共定位成像。在双模态成像系统中，光学衍射层析成像具有优异的分辨能力，且无光毒性的限制，因而可以长时间、全面地记录细胞内各种细胞器间的三维相互作用动态；荧光成像模态可提供分子层面的化学特异性分辨能力，因此成为鉴别无标记成像模态成像结果的重要依据。利用光学衍射层析-结构光照明荧光双模态成像系统，可开展一系列的活细胞成像研究，并应用于病理诊断、药理分析、耐药性研究等。

中试阶段/n该项目主要针对开源CT 医学影像数据和多中心合作单位提供的多模医学影像数据，采用人工智能技术和自主研制的深度学习算法对心脏左心室、肿瘤等CT 影像数据进行全自动分割，验证了所研制算法在该项目计算机辅助肿瘤智能诊断应用中的有效性，为项目产业化实施奠定了方法基础。成果的先进性或独特性：针对不同类型的医学影像感知设备，设计针对性强的机器学习智能算法；国内同类研究中首次采用“双盲评估+验证”的科研方法对影像数据进