本项目通过收集本院耳鼻喉科6066张正常人、分泌性中耳炎、急性化脓性中耳炎活动期及化脓性中耳炎静止期耳内镜图像。 一、项目进展 创意计划阶段 二、负责人及成员 姓名 学院/所学专业 入学/毕业时间 徐倩慧 中山大学医学院 2017.09~2022.06 童钊鹏 中山大学孙逸仙纪念医院 2021.09~ 三、指导教师 姓名 学院/所学专业 职务/职称 研究方向 蔡跃新 中山大学孙逸仙纪念医院 副主任医师 耳鼻喉头颈外科 四、项目简介 本项目通过收集本院耳鼻喉科6066张正常人、分泌性中耳炎、急性化脓性中耳炎活动期及化脓性中耳炎静止期耳内镜图像。通过模仿医生诊断的注意力机制，将获取局部关键特征的局部分类器与获取全局特征的主分类器有机结合，构成深度学习的主框架。通过计算AUC等统计学指标来评估模型的性能，并与两位副主任医师、两位主治医师进行人机对比来进一步评估模型的性能，同时通过热图显示深度学习模型在耳内镜图像不同区域的权重，以判断深度学习关注的区域是否与临床医师一致。该深度学习模型可获得整体93.4%的准确率，区分正常人与分泌性中耳炎的AUC为0.99，而区分化脓性中耳炎活动期与静止期的AUC为0.94.模型的准确率要高于两位主治医师，达到副主任医师的水平，同时热图显示深度学习模型定义的关键区域恰好是临床医生做诊断的区域，如化脓性中耳炎鼓膜穿孔区域，分泌性中耳炎的光锥区域。同时，同时，本项目还将深度学习模型的技术落地，自主研发出研发便携式可拍摄与自动诊断的耳镜设备。

XM-SX-III中医舌诊仪   XM-SX-III中医舌诊仪（中医舌象智能辅助诊断系统）是采用数据挖掘技术、机器视觉技术相结合的产品，该产品安装简单、操作方便、安全可靠、配置灵活，既能用于各大中医药大学舌象相关的教学、科研，又适用于医生舌诊的辅助分析，适用范围较广。   一、主要功能： ■ 计算机控制内部相机进行自动对焦拍摄，操作简单，图像清晰，完全实现舌象采集自动化。 ■ 采用数字化舌象采集平台与标准化方法还原，使舌象真实再现。 ■ 内部摄像采用模拟自然光源并能进行光线调节，使采集环境保持稳定。 ■ 在特定的光源环境下，采用摄像头获得舌像信息，对舌体图像的颜色、纹理、轮廓进行特征提取，由计算机将这些特征值与特征数据库中的阈值进行比对判断，给出舌象分析结果。 ■ 可以随时查询病例报告。 ■ 可以分析舌质颜色、舌苔颜色、舌形状、舌态。 ■ 内置消毒灭菌装置，操作前使用，避免交叉感染。 ■ 软件可以根据实际舌象的瘀斑、点刺、齿痕、裂纹等症状用文字显示舌象特征、临床病症以及饮食及用药建议。 二、主要特点： ■ 系统具有自主学习功能，通过不断学习，有效提高系统自主诊断准确性。 ■ 支持自动分析，且允许人工修正，提高诊断的准确性。 ■ 准确分析舌质、舌苔等，并直观显示结果。 ■ 支持初诊、复诊分离，实现便捷就诊。 ■ 支持多关键字的查询统计。 ■ 支持诊断分析报告打印。 ■ 用户权限管理，提高安全性。 ■ 自动对焦（即自动舌体捕获）。 ■ 灯光控制功能。 三、软件功能： ■ 用户权限管理，提高系统安全性。     ■ 病理、临床库可以持续更新，具备学习能力，且具备自动提取舌体，自动分析舌体、自动分析后手动调整等功能，提高了学习的准确度。 ■ 快捷的初诊、复诊入口，操作方便、快捷。 ■ 功能强大的视频分析能力，既可实时诊断，又可能根据需要进行人工调整。 ■ 灵活多变的查询统计能力，数据分析能力。 ■ 病例学习：单击主界面中的“病例学习”选项，进入学习界面，包括读取、保存、舌体轮廓提取、特征提取、自动提取控制、量化数据显示、舌象特征录入、临床意思录入、饮食指导及用药建议录入等选项，学习与分析过程，采用人机交互的方式。 ■ 自动获取：单击自动获取按钮，如果参数正确，舌体提取成功，若存在不足，可通过自动提取控制中的进度条及取反控制框选择来进行控制。 ■ 特征提取：为了便于分步处理，此处特征提取分步骤完成，分别舌质特征、舌苔特征、齿痕特征、裂纹特征、瘀斑特征以及点刺特征。点击某功能按钮后，相关特征将被量化，以舌质为例加以说明。比如，单击舌质特征、舌苔特征按钮后，数据结果自动分析结果。 ■ 人工绘制：对于某些来自于其他途径的图片，会存在自动获取舌头错误的情况，此时可以通过人工绘制来完成。单击“人工绘制”后，在图像显示区域，单击右键将出现菜单，包括选中舌体、勾画轮廓和撤销。其中选中舌体仅需在舌头四周点选四个点，单击“绘制完成”后再自动识别完成；勾画轮廓则是按住鼠标左键后通过拖动完成绘制，绘制完成后单击“绘制完成”便实现舌体提取。撤销可以对绘制过程觉得不满意的地方进行撤销，最多支持5步撤消。

四川大学华西医院2020年3月13日对“肺部多病变CT影像AI筛查与辅助诊断系统”进行测试，该系统能迅速高效地对患者胸部CT影像做出分析，发现具有“肺结节、肺癌、结核、病毒性肺炎、细菌性肺炎”等病症的影像特征。 该技术依托于“疾病流行病学大数据研究平台”，在华西生物医学大数据中心的牵头下，汇聚近20家医疗机构的医学研究支持，基于人工智能深度学习技术，数据来自临床确诊病例，数据的遴选、标注由华西医院放射科影像专家完成。技术研发到测试用时不到30天。CT影像是临床诊断包括新冠肺炎在内的肺部病变的重要依据，但一名患者的肺部CT影像数量在500张左右，导致医生诊断过程中工作量很大。 查看原文

该成果创造性地利用高阶非线性光学材料获取医学临床诊断的关键信息。利用自主发明的双光子荧光探针与双光子光学CT成像的特性，首次获取了可用于癌症病理组织快速临床诊断的荧光图像。该技术是山东大学晶体材料国家重点实验室于晓强教授团队的原创，国际、国内均没有同类工作。 全新的观测技术：基于荧光探针与光学切片成像的肿瘤病理临床诊断技术。 该成果将直接带动三个高附加值的高技术产业： 新材料产业：双光子荧光探针 新设备产业：临床专用双光子荧光显微镜产业 新技术产业：技术人员培训、临床服务产业 符合临床要求的检测流程：

"该成果创造性地利用高阶非线性光学材料获取医学临床诊断的关键信息。利用自主发明的双光子荧光探针与双光子光学CT成像的特性，首次获取了可用于癌症病理组织快速临床诊断的荧光图像。该技术是山东大学晶体材料国家重点实验室于晓强教授团队的原创，国际、国内均没有同类工作。该成果将直接带动三个高附加值的高技术产业： 1. 新材料产业：双光子荧光探针 2. 新设备产业：临床专用双光子荧光显微镜产业 3. 新技术产业：技术人员培训、临床服务产业 "

“依脉中医四诊智能诊断系统”是传统中医理论与现代科技的完美结合，将中医脉诊、舌面诊、问诊等子系统整合，自动辨识人体体质，并通过智能辨证分析开展个体化中医养生干预服务，给予合理的养生调养指导和经典处方建议等。 智能脉诊单元 智能脉象采集模块选用航天级压力传感器，独创磁吸式腕带，通过“无级快速气动加压-连续缓慢减压”模式，充分模拟中医脉诊过程中的“浮中沉”指法，对受试者脉搏压力信号进行采集。通过传感器将压力信号转化为电信号，能够实时显示被试的脉象图，并通过一系列算法提取脉搏原始数据中的特征值，与中医脉象数据库中数据进行实时比对，智能分析出受试者的中医脉象类型。系统通过权威算法分析被试脉象数据，自动获取最佳脉图，并能够输出多种时频指标，助力中医脉诊客观化研究。 智能舌面诊单元 智能舌面诊单元采用球形柔光罩，充分模拟自然光，选用专业级单反相机进行成像。系统采用支持向量机（SVM）、动态形状模型（ASM）等多项成熟技术，能够智能分析舌色、舌形、舌态、苔色、苔质、舌络、面色等特征，记录和跟踪不同时期的舌象、面色特征变化，对疾病的疗效评估具有重要的参考价值，为健康状态的辨识、干预效果的评价提供客观化依据。 体质辨识系统 体质辨识系统根据中华中医药学会发布的《中医体质分类与判定》标准、《中医药健康管理服务技术规范》、《国家基本公共卫生服务规范（2011年版）》等文件要求设计，开展亚健康人群中医体质辨识、准确快速识别人体9种体质及其兼夹体质。并开拓展设计了慢性病（糖尿病、高血压、高血脂、高尿酸）检测问卷及孕产妇、0-14岁儿童、65岁及以上老年人体质辨识问卷，助力健康中国战略。 智能辨证分析系统 通过对设备客观化采集到的中医四诊信息，进行综合辨证分析，自动得出人体健康状况综合评价结果，并为用户提供个性化健康养生方案（经典方剂、中成药、季节调养、针灸、穴位按摩等）。 系统可对用户数据进行实时统计，后台可自动生成智能报表，查阅用户档案，分析中医客观化诊断信息，挖掘潜在规律。助力中医诊断信息客观化研究。

“依脉中医四诊智能诊断系统”是传统中医理论与现代科技的完美结合，将中医脉诊、舌面诊、问诊等子系统整合，自动辨识人体体质，并通过智能辨证分析开展个体化中医养生干预服务，给予合理的养生调养指导和经典处方建议等。 智能脉诊单元 智能脉象采集模块选用航天级压力传感器，独创磁吸式腕带，通过“无级快速气动加压-连续缓慢减压”模式，充分模拟中医脉诊过程中的“浮中沉”指法，对受试者脉搏压力信号进行采集。通过传感器将压力信号转化为电信号，能够实时显示被试的脉象图，并通过一系列算法提取脉搏原始数据中的特征值，与中医脉象数据库中数据进行实时比对，智能分析出受试者的中医脉象类型。系统通过权威算法分析被试脉象数据，自动获取最佳脉图，并能够输出多种时频指标，助力中医脉诊客观化研究。 智能舌面诊单元 智能舌面诊单元采用球形柔光罩，充分模拟自然光，选用专业级单反相机进行成像。系统采用支持向量机（SVM）、动态形状模型（ASM）等多项成熟技术，能够智能分析舌色、舌形、舌态、苔色、苔质、舌络、面色等特征，记录和跟踪不同时期的舌象、面色特征变化，对疾病的疗效评估具有重要的参考价值，为健康状态的辨识、干预效果的评价提供客观化依据。 体质辨识系统 体质辨识系统根据中华中医药学会发布的《中医体质分类与判定》标准、《中医药健康管理服务技术规范》、《国家基本公共卫生服务规范（2011年版）》等文件要求设计，开展亚健康人群中医体质辨识、准确快速识别人体9种体质及其兼夹体质。并开拓展设计了慢性病（糖尿病、高血压、高血脂、高尿酸）检测问卷及孕产妇、0-14岁儿童、65岁及以上老年人体质辨识问卷，助力健康中国战略。 智能辨证分析系统 通过对设备客观化采集到的中医四诊信息，进行综合辨证分析，自动得出人体健康状况综合评价结果，并为用户提供个性化健康养生方案（经典方剂、中成药、季节调养、针灸、穴位按摩等）。 系统可对用户数据进行实时统计，后台可自动生成智能报表，查阅用户档案，分析中医客观化诊断信息，挖掘潜在规律。助力中医诊断信息客观化研究。

XM-SX-IIIA便携式中医舌诊仪   XM-SX-IIIA便携式中医舌诊仪（中医舌象智能辅助诊断系统）是采用数据挖掘技术、机器视觉技术相结合的产品，该产品安装简单、操作方便、安全可靠、配置灵活，既能用于各大中医药大学舌象相关的教学、科研，又适用于医生舌诊的辅助分析，适用范围较广。   一、主要功能： ■ 计算机控制内部相机进行自动对焦拍摄，操作简单，图像清晰，完全实现舌象采集自动化。 ■ 采用数字化舌象采集平台与标准化方法还原，使舌象真实再现。 ■ 内部摄像采用模拟自然光源并能进行光线调节，使采集环境保持稳定。 ■ 在特定的光源环境下，采用摄像头获得舌像信息，对舌体图像的颜色、纹理、轮廓进行特征提取，由计算机将这些特征值与特征数据库中的阈值进行比对判断，给出舌象分析结果。 ■ 可以随时查询病例报告。 ■ 可以分析舌质颜色、舌苔颜色、舌形状、舌态。 ■ 内置消毒灭菌装置，操作前使用，避免交叉感染。 ■ 软件可以根据实际舌象的瘀斑、点刺、齿痕、裂纹等症状用文字显示舌象特征、临床病症以及饮食及用药建议。   二、主要特点： ■ 系统具有自主学习功能，通过不断学习，有效提高系统自主诊断准确性。 ■ 支持自动分析，且允许人工修正，提高诊断的准确性。 ■ 准确分析舌质、舌苔等，并直观显示结果。 ■ 支持初诊、复诊分离，实现便捷就诊。 ■ 支持多关键字的查询统计。 ■ 支持诊断分析报告打印。 ■ 用户权限管理，提高安全性。 ■ 自动对焦（即自动舌体捕获）。 ■ 灯光控制功能。   三、软件功能： ■ 用户权限管理，提高系统安全性。     ■ 病理、临床库可以持续更新，具备学习能力，且具备自动提取舌体，自动分析舌体、自动分析后手动调整等功能，提高了学习的准确度。 ■ 快捷的初诊、复诊入口，操作方便、快捷。 ■ 功能强大的视频分析能力，既可实时诊断，又可能根据需要进行人工调整。 ■ 灵活多变的查询统计能力，数据分析能力。 ■ 病例学习：单击主界面中的“病例学习”选项，进入学习界面，包括读取、保存、舌体轮廓提取、特征提取、自动提取控制、量化数据显示、舌象特征录入、临床意思录入、饮食指导及用药建议录入等选项，学习与分析过程，采用人机交互的方式。 ■ 自动获取：单击自动获取按钮，如果参数正确，舌体提取成功，若存在不足，可通过自动提取控制中的进度条及取反控制框选择来进行控制。 ■ 特征提取：为了便于分步处理，此处特征提取分步骤完成，分别舌质特征、舌苔特征、齿痕特征、裂纹特征、瘀斑特征以及点刺特征。点击某功能按钮后，相关特征将被量化，以舌质为例加以说明。比如，单击舌质特征、舌苔特征按钮后，数据结果自动分析结果。 ■ 人工绘制：对于某些来自于其他途径的图片，会存在自动获取舌头错误的情况，此时可以通过人工绘制来完成。单击“人工绘制”后，在图像显示区域，单击右键将出现菜单，包括选中舌体、勾画轮廓和撤销。其中选中舌体仅需在舌头四周点选四个点，单击“绘制完成”后再自动识别完成；勾画轮廓则是按住鼠标左键后通过拖动完成绘制，绘制完成后单击“绘制完成”便实现舌体提取。撤销可以对绘制过程觉得不满意的地方进行撤销，最多支持5步撤消。

项目简介： 本项目的目的在于通过开发优质廉价的小型临床定量光学检测 仪器和其配套试剂，为社区和农村基层医疗单位甚至家庭提供更加快 速、准确、低成本的定量检测技术，充分发挥其在疾病防控中的作用， 避免误诊、降低用药费用、减少医疗费，尽可能的提高基层医疗单位 的效率。本项目的实施可以加速我国基层医疗服务体系建设，健全基 层医疗卫生机构的功能，解决基层医疗卫生机构目前存在的迫切问题， 全面提升基层医疗机构的服务水平。 本项目的实施可以填补低成本、低操作要求的医学定量检测系统 的技术空白，解决重要疾病和常见病在基层医院难以得到准确诊治等 迫切的问题。 目前诊断试剂行业并非没有好的技术，而是相关产品的核心技术 往往受控于国外大公司手中，导致检测价格过高，影响诊断技术的推 广。以肿瘤标志物的检测为例，目前某国外品牌的 11 项肿瘤标志物 使用化学发光方法进行筛查，某三级甲等医院的除了需要引进上千万 元的检测设备外，每次检查的收费都在上千元。这无形中加重了患者 看病的负担，而同样的检测在基层医院根本没有办法开展。应用本研 究的成果，在保证检测质量的前提下可以使设备的费用控制在 5 万元 以内，每次检测的费用在 100 元左右，这样可以在各级医院中广泛的开展肿瘤标志物的检测，扩大市场，突破诊断试剂行业发展的瓶颈。 本项目实施的必要性体现在以下方面： （1）可以为基层医疗单位提供快速、廉价、简便的诊断仪器和 相关的试剂盒，进而从根本上提高基层医疗单位的诊疗水平，实现重 大疾病的准确诊断，及时治疗或转院； （2）在基层医疗机构的应用可以充分提高基层医疗卫生系统的 工作效率，发挥其作用，进而从基层全面提升我市对重大疾病的防治 水平，促进社会发展； （3）可以促生诊断试剂和仪器共同开发的新模式，形成我市在 相关科研领域的特色；推动天津作为新一代高灵敏度低成本定量医学 检测技术的创新基地的建设；逐渐使我市成为我国北方重要的临床诊 段技术研究中心。

本项目的目的在于通过开发优质廉价的小型临床定量光学检测仪器和其配套试剂，为社区和农村基层医疗单位甚至家庭提供更加快速、准确、低成本的定量检测技术，充分发挥其在疾病防控中的作用，避免误诊、降低用药费用、减少医疗费，尽可能的提高基层医疗单位的效率。本项目的实施可以加速我国基层医疗服务体系建设，健全基层医疗卫生机构的功能，解决基层医疗卫生机构目前存在的迫切问题，全面提升基层医疗机构的服务水平。 本项目的实施可以填补低成本、低操作要求的医学定量检测系统的技术空白，解决重要疾病和常见病在基层医