应用人工智能的深度学习技术来诊断和预测眼科及其他慢性病

1. 痛点问题

本项成果涉及一种基于无创性的眼科影像，诊断和预测眼科及其他系统性慢性疾病的算法技术包。糖尿病、冠心病和肾脏病都是当下社会患者基数大、统筹管理困难、早筛早诊均有一定难度的慢性疾病。

1）糖尿病视网膜病变（DR）的主要挑战之一是缺乏个体化的风险模型和不能准确预测疾病发生和进展的时间。DeepDR Plus算法所针对的任务主要是一个回归问题，即将图片映射为预期的目标事件发生时间。提出了一个新的生存分析框架，该框架能够对目标事件的发生时间进行回归。该框架结合了深度学习和生存分析的优点，可以有效地处理这种类型的数据，并能够准确预测目标事件的发生时间。

2）在资源贫乏和基层医疗环境中，对于DR及时准确的诊断和治疗成为一项挑战。针对上述问题，提出了DeepDR-LLM的眼底图像诊疗建议系统。这个系统结合了深度学习的糖尿病视网膜病变预测模型（TransDR）和大规模语言模型（LLaMA）。通过分析眼底图像并将预测结果与患者的临床信息相结合，系统能够生成糖尿病管理的个性化诊疗建议。模型的最终输出为个性化的糖尿病诊疗和管理建议。

3）现有的冠心病检测技术大多聚焦在分类任务上，输出结果单一、缺乏扩展性和可读性，应用场景有限。本项成果以冠脉造影诊断报告为导向，融合计算机视觉技术和大语言模型，致力于提出一种非侵入性冠心病检测系统，实现基于眼底影像生成冠心病病变描述文本以及对应的诊疗建议。基于“眼底影像-冠脉造影诊断报告-医嘱”数据集对多模态对话语言模型进行微调，实现输入一张眼底即可输出“冠脉造影诊断报告”，并提供个性化的诊疗建议。

4）糖尿病肾病（DKD）在糖尿病患者中的发生率高达40%，仍然是终末期肾病的主要致病因素。本项成果开发了一个深度学习系统DeepDKD来检测DKD（非DKD组、DKD-中度增加风险组、DKD-高风险组或DKD-极高风险组），并区分孤立的DKD和非糖尿病性肾病（NDKD），仅使用视网膜底图像作为输入。DeepDKD系统采用大规模弱监督动量对比学习作为提取可转移视觉表示的方法，进一步通过两个任务（检测DKD和区分孤立的DKD和NDKD）进行监督训练。

5）大语言模型（LLMs）是一种基于深度学习的自然语言处理技术，通过大量的文本数据进行预训练，以理解和生成自然语言。其中，利用这些模型开发的chatbot，即聊天机器人，已经成为了当下最具潜力的技术应用之一。而大语言模型（LLMs）尚未在医学场景中得到应用。本项成果提出了名为SynapseLLM的创新chatbot框架，以解决基于LLMs的chatbot存在的医学知识支持差、易产生幻觉及有害内容的缺点。

本项成果涉及的“应用人工智能的深度学习技术来诊断和预测眼科及其他慢性病技术”算法包，能够在临床条件下解决无创性诊断、分类、预警、预测等多种功能，在实际操作使用中也有更好的人机交互体验，解决了目前市面上此类算法模型缺乏和易用性不佳的多项痛点问题。

2. 解决方案

本项成果涉及应用人工智能的深度学习技术来诊断和预测眼科及其他慢性病，包括糖尿病、冠心病和肾脏疾病相关的预测算法，以及拥有医学知识储备的大语言模型框架，涉及技术包括：DeepDR Plus，DeepDR-LLM，DeepCHD-FGLM，DeepDKD，Chatbot。

图1 DeepDR Plus系统设计

图2 DeepDR-LLM系统设计