基于耳内图像的耳科疾病智能辅助诊断系统

本项目通过收集本院耳鼻喉科6066张正常人、分泌性中耳炎、急性化脓性中耳炎活动期及化脓性中耳炎静止期耳内镜图像。

一、项目进展

创意计划阶段

二、负责人及成员

姓名	学院/所学专业	入学/毕业时间
徐倩慧	中山大学医学院	2017.09~2022.06
童钊鹏	中山大学孙逸仙纪念医院	2021.09~

三、指导教师

姓名	学院/所学专业	职务/职称	研究方向
蔡跃新	中山大学孙逸仙纪念医院	副主任医师	耳鼻喉头颈外科

四、项目简介

本项目通过收集本院耳鼻喉科6066张正常人、分泌性中耳炎、急性化脓性中耳炎活动期及化脓性中耳炎静止期耳内镜图像。通过模仿医生诊断的注意力机制，将获取局部关键特征的局部分类器与获取全局特征的主分类器有机结合，构成深度学习的主框架。通过计算AUC等统计学指标来评估模型的性能，并与两位副主任医师、两位主治医师进行人机对比来进一步评估模型的性能，同时通过热图显示深度学习模型在耳内镜图像不同区域的权重，以判断深度学习关注的区域是否与临床医师一致。该深度学习模型可获得整体93.4%的准确率，区分正常人与分泌性中耳炎的AUC为0.99，而区分化脓性中耳炎活动期与静止期的AUC为0.94.模型的准确率要高于两位主治医师，达到副主任医师的水平，同时热图显示深度学习模型定义的关键区域恰好是临床医生做诊断的区域，如化脓性中耳炎鼓膜穿孔区域，分泌性中耳炎的光锥区域。同时，同时，本项目还将深度学习模型的技术落地，自主研发出研发便携式可拍摄与自动诊断的耳镜设备。

成果类别	成果名称	相关团队成员	相关指导老师
发明专利	一种基于深度学习的耳内镜图像神经网络模型构建方法及智能分类处理方法	李雯睿，梁锦莹，刘楚，童钊鹏	蔡跃新
实用新型专利	一种便携式耳镜	李雯睿，梁锦莹，刘楚，童钊鹏	蔡跃新
实用新型专利	一种耳镜与其终端装置	李雯睿，梁锦莹，刘楚，童钊鹏	蔡跃新
软件著作权	耳镜图像数据智能处理软件	李雯睿，梁锦莹，刘楚，童钊鹏	蔡跃新

1、该项目通过构建基于耳内镜的中外耳疾病诊断模型，对疾病进行分类分级诊断，辅助制定治疗方案。模型的可塑性很强，有条件扩展至全部中外耳疾病，实现广泛应用；

2、自主研发便携式、实用的外耳道、鼓膜拍摄工具及APP，适用于基层医院、社区及家庭，辅助内科、儿科医师进行相关疾病的早期筛查与监测，具有很强的社会意义与经济效益；

3、可为不同专业、年资医生提供外中耳病变及特殊病例的教学指导，为培养耳鼻喉科人才提供便捷的工具；

4、建立以耳内镜图像为基础的听阈预测模型，更好的指导对疾病的进一步评估和治疗，对于疾病的早期筛查和预警具有重要意义。

机器学习和神经网络在医疗健康大数据分析与应用领域具有巨大的潜力，人工智能在医疗领域的广泛运用，不仅提高了医疗的精准度，还在一定程度上节约了医疗研发成本。本项目充分结合了人工智能与临床医学影像技术，建立以耳内镜图像为基础的听阈预测模型，辅助疾病的早期筛查，通过构建基于耳内镜的中外耳疾病诊断模型，对疾病进行分类分级诊断，辅助制定治疗方案，同时自主研发了便携式耳内镜设备，广泛适用于基层医院、社区及家庭，辅助内科、儿科医师进行相关疾病的早期筛查与监测。这有利于缓解当前中国社会临床需求和医生数量的棘手现状，以科技赋能，让优质医疗资源普及更多人，在实现“健康中国”战略中发挥科技核心优势，随着全科医学及基础医疗的完善具有更加广阔的市场前景。