本发明公开了一种具有立体视觉显示的医学影像工作站，所述 医学影像工作站包括计算机主机、3D 显示屏、输入设备和软件系统； 软件系统包括一般医学影像工作站所具备的软件功能模块，以及立体 视觉显示模块、3D 交互模块、2D 显示与立体视觉显示联动模块；立 体视觉显示模块用于实现含景深信息的立体视觉显示；3D 交互模块用 于从输入设备接收用户输入的含景深信息的操作指令，并在 3D 显示屏 上实时、同步显示出操作结果；2D 显示与立体视觉显示联动模块用于 实现 2D 显示屏和 3D 显示屏联动，或 2D 显示和立体视觉显示之间切 换。本发明可以弥补现有的医学影像工作站在立体视觉显示、3D 交互、 2D 显示与立体视觉显示联动方面的不足，从而提高医生的观测效果和 工作效率。

本发明提出了一种医学影像计算机辅助分析方法，包括以下步骤：通过红外光源和红外热成像仪对医学影像进行一次扫描，对一次扫描图像的体数据进行图像分裂操作，得到一次图像数据；通过可见光光源和感光元件对所述医学影像进行二次扫描；对二次扫描图像的体数据进行所述图像分裂操作，得到二次图像数据；将所述一次图像数据和二次图像数据绑定，与病理数据库中已有的病理样本相比对，比对过程具体为一次图像数据互相比对，二次图像数据互相比对。

1.痛点问题 在临床医学实践过程中，会产生医学图像、电子病历、生命组学等多种类型的医学数据，这些数据能够从不同角度对患者的病情进行刻画。因此实现多模态临床医学数据的自动化和智能化分析，有利于推动国家健康医疗大数据产业的发展，助力“健康中国”战略的实施。 我国不同地区医疗水平差异较大，医疗资源在空间上分配不均。某些科室如影像科、病理科有较大的医师缺口，供需矛盾突出。这种供需不匹配的问题也造成了医生工作负担加重，患者等待检查结果周期变长等诸多问题。在当前情况下，短期内无法通过培养更多的新医生来缓解医疗资源供需紧张的问题。 为缓解上述问题，目前已有企业推出了基于人工智能的辅助诊疗产品，但这些产品大都针对单一模态的医学数据，无法从整体的视角进行辅助诊断和决策，辅助诊断的准确性仍有较大的提升空间。 基于以上痛点问题和产业机遇，我们希望通过技术创新，研发出一套有效的多模态医学数据智能分析系统，应用“多模态医学数据+人工智能”的技术模式，缓解当前医疗资源供需紧张的社会问题。 2.解决方案 本项目旨在研发对多模态医学数据进行有效整合分析的人工智能方法。处理的数据类型包括：患者的医学图像、电子病历、生命组学等多种模态的医学数据。针对医学图像数据，构建目标检测与分割、特征提取、相似图片检索等智能化算法；针对电子病历数据，构建分词、医学实体识别和标准化算法；针对生命组学数据，研究基因突变致病性预测的深度学习算法。上述多模态医学数据智能分析技术为基础，研发多模态医学数据智能分析的系列软件产品，为医院提供人工智能辅助诊断等应用产品。 3.合作需求 寻求与医疗机构、医疗设备耗材企业、远程病理运营企业开展相应的合作。

以当今主流放疗和影像设备为仿真对象，以 3D 场景仿真医院放疗和影像科室的工作实景及流程，将放疗和医学影像专业与信息化技术有机融合，将教学能动性发挥到最大。系统包括学习模式和考核模式，操作者可以通过鼠标的点击操作，在三维模拟的医院检查环境下进行360°漫游，在整体上对相关检查设备有所认识，每种设备检查技术涵盖实训步骤不少于30步，包含设备开机检查、开机、准备、登记、患者准备、去除异物、摆位、调整设备位置、设置参数、后处理、打印等全过程仿真操作及各仿真过程中知识点学习及考核，软件为B/S架构，不限节点。

XM-YX开放式医学影像多媒体辅助教学系统   功能特点： ■ XM-YX开放式医学影像多媒体辅助教学系统为医学院校学生提供了一种能够自主学习、加强感官认识、强化护理学相关知识、易于操作的全方面的学习条件，丰富医学院校护理教学内容，弥补书面教学过于抽象的不足，方便学生自主学习。 ■ 系统具有开放性、交互性，能够让学生课后随时地进行自主学习，可对学员24小时开放使用，系统操作简单、界面漂亮，具有动态效果，能够从视觉上、听觉上吸引学生注意力，避免了枯燥无味的介绍，弥补课堂不足。 ■ 内容丰富，素材量大，容量超过12G，以视频、动画、图片为主，各种图像10000幅以上，模拟试题50套。 ■ 内容包括： · 临床医学生理病理三维影像。 · 呼吸系统、消化系统、泌尿系统、神经系统、内分泌系统、骨关节系统等人体各系统脏器的影像学诊断。 · 系统讲解X片、CT、 MRI、超声检查及内窥镜检查成像原理及相关基本理论 基本病变。 · 各系统疾病的影像学诊断，分类介绍各种检查特点、分析方法、诊断方法及相关解剖。 ■ 配置：19寸触摸一体机，双核处理器，内存2G，硬盘500G。

武汉大学张永军教授项目组在国际上首次提出摄影测量遥感的科学概念，构建了多模态卫星影像一体化摄影测量遥感智能处理技术体系，突破了匹配干扰地物快速智能分割、语义辅助几何处理与大范围影像镶嵌合成、地物信息智能提取等关键技术，成功研制出我国首套多模态卫星影像一体化摄影测量遥感智能处理系统MIPS。 一、项目分类 关键核心技术突破 二、成果简介 武汉大学张永军教授项目组在国际上首次提出摄影测量遥感的科学概念，构建了多模态卫星影像一体化摄影测量遥感智能处理技术体系，突破了匹配干扰地物快速智能分割、语义辅助几何处理与大范围影像镶嵌合成、地物信息智能提取等关键技术，成功研制出我国首套多模态卫星影像一体化摄影测量遥感智能处理系统MIPS，相关技术理论《多模态卫星影像一体化摄影测量遥感智能处理技术及应用》2021年荣获测绘科技进步特等奖。 技术特色： (1) 首次提出基于人工智能技术的多模态卫星影像语义分割与几何处理融合新理论。创建了卫星影像跨域稳健语义分割技术，通过自适应增量优化提升深度分割网络模型的迁移性和普适性，保证多类型地物语义分割的时效性、容错性、稳定性和区域一致性。 (2) 通过语义分割结果全自动进行多源地理信息控制点粗差剔除，实现超大范围多模态影像精准几何处理；提出辐射不变特征变换算法进行多模态影像高可靠性匹配；单台机器2.5分钟可完成8000景卫星影像的并行区域网平差，大幅提高了自动化处理精度和效率。 (3) 突破了基于深度学习的多视遥感影像三维地形及大范围合成影像智能生成技术，采用物方半全局优化提升困难区域的密集匹配精度，并在语义分割结果的辅助下进行大范围遥感影像无缝镶嵌合成。 (4) 基于深度学习进行建筑物、道路、农作物等典型地物目标语义信息智能提取；基于多尺度语义分割网络融合经验知识实现建筑物矢量边缘精确提取；结合语义分割和多起点中心线追踪优化提取道路网拓扑矢量；基于3D卷积和注意力机制实现多类农作物精细分类及其时空特征智能提取。 (5) 构建了全新的多模态卫星遥感影像几何语义一体化智能处理技术体系，研制出我国首套自主产权的多模态卫星影像一体化摄影测量遥感智能处理软件系统MIPS，其数据处理效果和效率均有明显优势，显著提升了融合处理的精准度和智能化水平。 先进性 MIPS具备快速语义分割、语义辅助精准几何处理、三维地形提取与多影像时序合成、地物语义信息智能提取等特色功能。系统采用最新的卫星影像摄影测量处理、多源影像融合、语义信息提取的相关理论与方法，结合先进的计算机技术、CPU/GPU两级加速并行处理及深度学习技术，处理效果和效率均明显优于国内外同类软件。例如单机情况下19小时即可完成1551景2米分辨率卫星影像的全自动处理，包括云区检测、影像融合、影像匹配、区域网平差、正射影像纠正等全部处理流程。语义分割结果约束的立体卫星影像区域网平差自动化程度和精度均显著提升，例如在1:1万基础测绘产品DEM/DOM的辅助下，高分七号立体卫星影像的全自动处理高程精度从2.6米大幅提升至0.8米以内，镶嵌接边精度优于1像素。

技术分析(创新性、先进性、独占性) 为了充分利用先进的人工智能的新技术，提高医疗影像辅助诊断的水平，使得智能医疗诊断技术提高临床诊断的质量和效率，使其尽快走入家挺、社区，满足人们的医疗健康的需要。研究临床医学影像的2D病灶精细分割和三维跨模态的影像三维重建技术。首先，通过建立多层感知的神经网路，对医学影像的特征进行充分学习，得到影像的几何映射的关系，从而实现对医学影像的三维重建，克服了现有的三维重建技术中度量关键问题，关键技术对于医学影像的精准度量，具有现实意义:其次，在2D病灶分割中，利用半监督学习技术，实现少标签情况下的分割技术，半监督学习技术可以有效解决医学影像中标签难以获取的问题。技术的研究成果的特点是医学影像跨模态辅助诊断技术，对于超声、CT以及核磁共振等影像都有效，并且攻克的神经网络过于复杂的关键问题，所研究技术适用于临床快速便捷辅助诊断。此外，在医学度量方面的关键技术中，突破了人体腹腔及皮下脂肪的精细分割技术的关键技术，可以用于临床辅助诊断中，在关键技术探索中，实现对腔内脂肪特征的精细学习，该技术仅需要少量的影像标准数据，就可以实现皮下脂肪的准确分割，并证明了关键技术的有效性。

项目简介 皮肤组织是人体最大的器官。它主要负责人体内部与外部的隔离与沟通，起到保护体内环境、排汗和感受外部刺激的功能。由于直接接触紫外光、化学物质等，皮肤的病变机率非常大。皮肤病能给患者带来瘙痒、疼痛、及各种美容问题，严重影响患者的身心健康，甚至影响患者的生命。因此，皮肤病的早期、准确的诊断和治疗至关重要。应用范围北京大学工学院成功研发“共焦反射/ 荧光实时成像系统”，即用两路激光同时激发反射和荧光信号，可同时、同焦点得到对生物体形态学和生物化学的信息，实现皮肤影像学分析，结合光机电一体化系统，实现对皮肤组织的三维共焦功能成像。三维CT 系统样机项目阶段将两类信息同时得到的共焦成像系统设计方案为世界首创，将大大加强对皮肤黑色素瘤、白癜风、黄褐斑等皮肤疾病的早期诊断准确率。由于本检测在活体上无创进行，因此具有取样检测无可比拟的实时性、多次观察性，且可大大降低检测成本。目前，课题组已经完成产品样机研发。知识产权 已申请相关专利。合作方式 合作开发、技术转让、技术许可。

皮肤组织是人体最大的器官。它主要负责人体内部与外部的隔离与沟通，起到保护体内环境、排汗和感受外部刺激的功能。由于直接接触紫外光、化学物质等，皮肤的病变机率非常大。皮肤病能给患者带来瘙痒、疼痛、及各种美容问题，严重影响患者的身心健康，甚至影响患者的生命。因此，皮肤病的早期、准确的诊断和治疗至关重要。

01. 成果简介 本成果涉及一种多模态触觉感知装置，属于机器人传感器技术领域。与人类相似，机器人感知外界环境最真实、稳定、便捷的方式便是通过机器人手触摸，机器人手的感知能力决定了机器人是否能够正确认知外界环境以及机器人的操作精度、成功率等。在新一代机器人手中，传感装置已逐渐趋于阵列化、多功能化和集成化。目前常见的触觉传感器有压阻式、电容式、光电式等，它们都存在密度难以提高、电路处理复杂等问题。为了克服以上不足，近年出现了基于视觉的触觉传感装置，具有结构简单、信息丰富等优势。目前基于视觉的触感装置仍存在性能提升空间。 本项目将感温变色油墨材料应用于触感装置，感知机器人操作过程中的温度[1]。同时提出一种基于微视觉的触觉三维力检测方法，通过采集触觉接触区域内弹性体的形变图像的变化，采用一系列图像处理方法，并且使用神经网络拟合的技巧，定性并且定量的刻画物理世界中的触觉、滑觉等，从而提供了一种多模态触觉感知装置，可以得到三维接触力、接触物体表面的温度及纹理等多种模态信息[2]。本装置打破了传统触觉感知装置单模态信息采集的现状，可在同一感知装置中集成受力、纹理、温度等信息的测量，检测触觉、滑觉、压觉三维接触力，获得高精度的接触纹理信息，实现了多模态信息的测量，并将这些信息综合到对一个物体的识别、抓取操作中，使机器人更加智能化、人性化。本装置具有实时性好，检测稳定，检测误差小，检测精度高的优点。 图1. 基于微视觉的多模态触觉感知装置结构图图2. 结合多模态触感装置的机械手02. 应用前景 本成果技术可应用于工业机器人、智能机器人、人机协作、医疗康复等领域，应用前景广泛。03. 知识产权 本成果核心技术已申请发明专利3项。04. 团队介绍 项目团队致力于研究具备自主决策和学习能力的机器人操作技能学习系统。团队包括孙富春、方斌、刘华平、宋亦旭四位教师，专注智能机器人灵巧精准操作研究，研制了拟人触觉的传感装置、多模态穿戴交互装置、残疾人假肢灵巧手、仿人感知灵巧手和变刚度软体手，在本领域发表论文40余篇，申请专利20余项，获得IROS2016机器人灵巧操作比赛冠军、IROS2017服务机器人操作比赛亚军、WRC2016最佳科技创新奖等。同时团队和河北清华发展研究院合作成立了人工智能及机器人研究中心，共同推动智能机器人的产业化发展。05. 合作方式 技术许可。06. 联系方式 邮箱：liuyi2017@tsinghua.edu.cn， fangbin@tsinghua.edu.cn