本项目通过收集本院耳鼻喉科6066张正常人、分泌性中耳炎、急性化脓性中耳炎活动期及化脓性中耳炎静止期耳内镜图像。 一、项目进展 创意计划阶段 二、负责人及成员 姓名 学院/所学专业 入学/毕业时间 徐倩慧 中山大学医学院 2017.09~2022.06 童钊鹏 中山大学孙逸仙纪念医院 2021.09~ 三、指导教师 姓名 学院/所学专业 职务/职称 研究方向 蔡跃新 中山大学孙逸仙纪念医院 副主任医师 耳鼻喉头颈外科 四、项目简介 本项目通过收集本院耳鼻喉科6066张正常人、分泌性中耳炎、急性化脓性中耳炎活动期及化脓性中耳炎静止期耳内镜图像。通过模仿医生诊断的注意力机制，将获取局部关键特征的局部分类器与获取全局特征的主分类器有机结合，构成深度学习的主框架。通过计算AUC等统计学指标来评估模型的性能，并与两位副主任医师、两位主治医师进行人机对比来进一步评估模型的性能，同时通过热图显示深度学习模型在耳内镜图像不同区域的权重，以判断深度学习关注的区域是否与临床医师一致。该深度学习模型可获得整体93.4%的准确率，区分正常人与分泌性中耳炎的AUC为0.99，而区分化脓性中耳炎活动期与静止期的AUC为0.94.模型的准确率要高于两位主治医师，达到副主任医师的水平，同时热图显示深度学习模型定义的关键区域恰好是临床医生做诊断的区域，如化脓性中耳炎鼓膜穿孔区域，分泌性中耳炎的光锥区域。同时，同时，本项目还将深度学习模型的技术落地，自主研发出研发便携式可拍摄与自动诊断的耳镜设备。

XM-SX-III中医舌诊仪   XM-SX-III中医舌诊仪（中医舌象智能辅助诊断系统）是采用数据挖掘技术、机器视觉技术相结合的产品，该产品安装简单、操作方便、安全可靠、配置灵活，既能用于各大中医药大学舌象相关的教学、科研，又适用于医生舌诊的辅助分析，适用范围较广。   一、主要功能： ■ 计算机控制内部相机进行自动对焦拍摄，操作简单，图像清晰，完全实现舌象采集自动化。 ■ 采用数字化舌象采集平台与标准化方法还原，使舌象真实再现。 ■ 内部摄像采用模拟自然光源并能进行光线调节，使采集环境保持稳定。 ■ 在特定的光源环境下，采用摄像头获得舌像信息，对舌体图像的颜色、纹理、轮廓进行特征提取，由计算机将这些特征值与特征数据库中的阈值进行比对判断，给出舌象分析结果。 ■ 可以随时查询病例报告。 ■ 可以分析舌质颜色、舌苔颜色、舌形状、舌态。 ■ 内置消毒灭菌装置，操作前使用，避免交叉感染。 ■ 软件可以根据实际舌象的瘀斑、点刺、齿痕、裂纹等症状用文字显示舌象特征、临床病症以及饮食及用药建议。 二、主要特点： ■ 系统具有自主学习功能，通过不断学习，有效提高系统自主诊断准确性。 ■ 支持自动分析，且允许人工修正，提高诊断的准确性。 ■ 准确分析舌质、舌苔等，并直观显示结果。 ■ 支持初诊、复诊分离，实现便捷就诊。 ■ 支持多关键字的查询统计。 ■ 支持诊断分析报告打印。 ■ 用户权限管理，提高安全性。 ■ 自动对焦（即自动舌体捕获）。 ■ 灯光控制功能。 三、软件功能： ■ 用户权限管理，提高系统安全性。     ■ 病理、临床库可以持续更新，具备学习能力，且具备自动提取舌体，自动分析舌体、自动分析后手动调整等功能，提高了学习的准确度。 ■ 快捷的初诊、复诊入口，操作方便、快捷。 ■ 功能强大的视频分析能力，既可实时诊断，又可能根据需要进行人工调整。 ■ 灵活多变的查询统计能力，数据分析能力。 ■ 病例学习：单击主界面中的“病例学习”选项，进入学习界面，包括读取、保存、舌体轮廓提取、特征提取、自动提取控制、量化数据显示、舌象特征录入、临床意思录入、饮食指导及用药建议录入等选项，学习与分析过程，采用人机交互的方式。 ■ 自动获取：单击自动获取按钮，如果参数正确，舌体提取成功，若存在不足，可通过自动提取控制中的进度条及取反控制框选择来进行控制。 ■ 特征提取：为了便于分步处理，此处特征提取分步骤完成，分别舌质特征、舌苔特征、齿痕特征、裂纹特征、瘀斑特征以及点刺特征。点击某功能按钮后，相关特征将被量化，以舌质为例加以说明。比如，单击舌质特征、舌苔特征按钮后，数据结果自动分析结果。 ■ 人工绘制：对于某些来自于其他途径的图片，会存在自动获取舌头错误的情况，此时可以通过人工绘制来完成。单击“人工绘制”后，在图像显示区域，单击右键将出现菜单，包括选中舌体、勾画轮廓和撤销。其中选中舌体仅需在舌头四周点选四个点，单击“绘制完成”后再自动识别完成；勾画轮廓则是按住鼠标左键后通过拖动完成绘制，绘制完成后单击“绘制完成”便实现舌体提取。撤销可以对绘制过程觉得不满意的地方进行撤销，最多支持5步撤消。

医影智能XR眼镜，这款集长续航、轻量化、易携带、AI识别等特性于一体的专业级教学设备，正以三大核心功能重塑医学影像教育生态。 1.医学影像设备可视化 无需实体拆解，医影智能XR眼镜即可实现医学影像设备从整机到内部结构动态呈现，DR平板探测器、CT扫描、MRI成像技术等内容，通过虚拟现实呈现成像流程，设备原理要点一目了然，重建教学内容可视化，实现“所见即所学”。 2.医学影像中心场景漫游  突破空间与场景壁垒，可沉浸式体验影像中心各科室的环境布局，深度感知科室文化；支持全流程模拟操作，可完整演练患者接待、体位摆放、设备参数调试、检查执行等核心环节，为影像中心科室规划优化、新人岗前标准化培训提供专业高效的实操支撑。 3.AI 智能识别 教材识别：精准识别医学影像教材中的图文内容，即时生成3D模型、流程动画及专业讲解。将静态文字转化为立体教学资源，大幅提升课程学习与知识传播效率。 部件识别：快速识别医学影像实体部件，同步生成部件参数、成像原理、维护注意事项等内容并实时讲解，解决现场学习时资料查询繁琐的痛点。

该项目以基于信息融合的故障诊断技术为背景，研究传感器故障诊断相对于一般故障诊断的特殊性及其已有的各种方法的内在联系，建立能够融合主要诊断方法、具有广泛适应性的诊断框架体系。主要研究内容包括：故障诊断的对象由单个传感器变为传感器系统；故障诊断的技术由单一方法转变为适应传感器不同过程的相应方法共同作用；为传感器故障的在线检测与信号恢复提供一致的方法；对可能的故障传感器，利用正常工作的传感器信息，恢复其性能。

针对特定的故障现象（尤其是随机故障、间歇性故障等），通过综合贝叶斯网络、FMEA、FTA等多种故障分析方法、融合多元故障相关信息（故障现象、故障案例、专家经验、故障模型等），进行系统深入的故障分析、找出可能的故障原因；利用智能化的方法（如遗传算法、群智能算法等），结合强度和异常等测试理念，自动生成满足多目标（如各种覆盖率、故障现象的匹配度等）的测试用例，借助自主构建的通用嵌入式软件仿真测试环境，实现故障的快速再现和基于贝叶斯的动态故障定位。 通过智能化的嵌入式软件随机故障分析再现与诊断，可以在故障分析、故障再现、故障定位等方面，利用智能化方法进行系统性、启发式的故障诊断研究，形成一系列的智能故障诊断分析工具包、进而形成嵌入式软件故障诊断分析专家系统，可有效提高故障诊断与定位分析的效率。

项目是国家科技攻关计划“先进控制与优化软件及综合自动化软件平台产业化关键技术”子课题，项目在PCS层（过程控制层）与实时信息集成系统的基础上，实时智能监测与故障诊断专家系统充分利用网络技术、计算机技术、控制技术、通讯技术以及人工智能技术将分散的PCS层信息进行集成，实现信息管理的智能化。系统实现从已有的PCS层通讯网络获得数据，进行高一层次的综合和处理，进行安全监督、故障诊断和预报，而不改变使用人员已经熟悉的操作程序和规则，因而可达到更好的安全监控与管理的效果。

技术分析(创新性、先进性、独占性) 为了充分利用先进的人工智能的新技术，提高医疗影像辅助诊断的水平，使得智能医疗诊断技术提高临床诊断的质量和效率，使其尽快走入家挺、社区，满足人们的医疗健康的需要。研究临床医学影像的2D病灶精细分割和三维跨模态的影像三维重建技术。首先，通过建立多层感知的神经网路，对医学影像的特征进行充分学习，得到影像的几何映射的关系，从而实现对医学影像的三维重建，克服了现有的三维重建技术中度量关键问题，关键技术对于医学影像的精准度量，具有现实意义:其次，在2D病灶分割中，利用半监督学习技术，实现少标签情况下的分割技术，半监督学习技术可以有效解决医学影像中标签难以获取的问题。技术的研究成果的特点是医学影像跨模态辅助诊断技术，对于超声、CT以及核磁共振等影像都有效，并且攻克的神经网络过于复杂的关键问题，所研究技术适用于临床快速便捷辅助诊断。此外，在医学度量方面的关键技术中，突破了人体腹腔及皮下脂肪的精细分割技术的关键技术，可以用于临床辅助诊断中，在关键技术探索中，实现对腔内脂肪特征的精细学习，该技术仅需要少量的影像标准数据，就可以实现皮下脂肪的准确分割，并证明了关键技术的有效性。

成果简介： 量子点免疫试纸条是一种快速、灵敏、可进行定量检测的现场检测装置。该装置适用于家庭、社区、医院等场所，可对肿瘤标志物进行早期筛查、诊断、判断预告和转归，评价治疗效果，以及对高危人群跟踪观察。胶体金免疫层析试纸条具有操作简单、检测快速、反应结果直观、可现场检测的优点。将纳米金粒子与一种称为菠萝蜜凝集素的物质结合，并加入荧光染料，制成纳米生物复合材料传感器，以此为基础研制出新的检测设备。 技术原理与工艺流程简介： 量子点具有激发光谱宽、发射光谱窄、单色性好且颜色可调、荧光强度高、光化学稳定性好。荧光强度的大小确定待测物的含量。 检测方法：首先制备量子点纳米粒子及对其进行亲水性改性, 然后再通过偶联作用将量子点纳米粒子和乳腺癌肿瘤标志物抗体结合起来制得探针最后将量子点抗体探针铺展在试纸条的结合垫上样品垫滴加抗原或病人血清检测。通过制的量子点免疫荧光检测仪检测 T 线和 C 线的荧光强度，T/C 即为检测结果。 检测原理： 具体检测过程是，将适量的待测液滴加到样品垫上，在试纸条另一端吸收垫的作用下，待测液会迅速向吸收垫方向运动，流经固定量子点探针处时，会将探针溶解，一起流向吸收垫方向。在流动过程中，样本中的目标分子会与量子点探针发生特异性免疫反应，形成量子点探针-目标分子结合物，其在流经 T 线时，会被包埋在此的特异性单克隆抗体捕捉，而空白的量子点探针则会被 C 线的二抗捕捉。通过检测每条 T 线上的荧光信号（发射波长和荧光强度），确定对应目标分子的有无。 应用前景分析及效益预测： 量子点免疫荧光试纸条可以对乳腺癌肿瘤标志物进行定性定量检测， 检测快速， 操作简单，成本较低且检测的灵敏度高检测结果准确为临床上乳腺癌的早期诊断奠定了基础。胶体金免疫层析试纸条具有操作简单、检测快速、反应结果直观、可现场检测的优点，  应用领域： 适合高危人群的社区肿瘤筛选,以及一二级医院的筛查。方便快捷。目前可应用该技术进行定量定性检测的肿瘤标志物有 CEA，SA，A199，CA153，CA159，HCG 等。 合作方式及条件： 投资资金 2000 万，配间，厂房设备，人员配套

麦可思教学质量管理平台将专业数据挖掘技术与先进信息化手段结合，为管理部门提高效能，充分发挥教评数据价值，为高校诊断教师教学问题，支撑教师教学考核，指导教师教学进步，让教评数据既能作为学校内部管理抓手，又能支撑外部评估考核。