应用人工智能的深度学习技术来诊断和预测眼科及其他慢性病

1. 痛点问题

本项成果涉及一种基于无创性的眼科影像，诊断和预测眼科及其他系统性慢性疾病的算法技术包。糖尿病、冠心病和肾脏病都是当下社会患者基数大、统筹管理困难、早筛早诊均有一定难度的慢性疾病。

1）糖尿病视网膜病变（DR）的主要挑战之一是缺乏个体化的风险模型和不能准确预测疾病发生和进展的时间。DeepDR Plus算法所针对的任务主要是一个回归问题，即将图片映射为预期的目标事件发生时间。提出了一个新的生存分析框架，该框架能够对目标事件的发生时间进行回归。该框架结合了深度学习和生存分析的优点，可以有效地处理这种类型的数据，并能够准确预测目标事件的发生时间。

2）在资源贫乏和基层医疗环境中，对于DR及时准确的诊断和治疗成为一项挑战。针对上述问题，提出了DeepDR-LLM的眼底图像诊疗建议系统。这个系统结合了深度学习的糖尿病视网膜病变预测模型（TransDR）和大规模语言模型（LLaMA）。通过分析眼底图像并将预测结果与患者的临床信息相结合，系统能够生成糖尿病管理的个性化诊疗建议。模型的最终输出为个性化的糖尿病诊疗和管理建议。

3）现有的冠心病检测技术大多聚焦在分类任务上，输出结果单一、缺乏扩展性和可读性，应用场景有限。本项成果以冠脉造影诊断报告为导向，融合计算机视觉技术和大语言模型，致力于提出一种非侵入性冠心病检测系统，实现基于眼底影像生成冠心病病变描述文本以及对应的诊疗建议。基于“眼底影像-冠脉造影诊断报告-医嘱”数据集对多模态对话语言模型进行微调，实现输入一张眼底即可输出“冠脉造影诊断报告”，并提供个性化的诊疗建议。

4）糖尿病肾病（DKD）在糖尿病患者中的发生率高达40%，仍然是终末期肾病的主要致病因素。本项成果开发了一个深度学习系统DeepDKD来检测DKD（非DKD组、DKD-中度增加风险组、DKD-高风险组或DKD-极高风险组），并区分孤立的DKD和非糖尿病性肾病（NDKD），仅使用视网膜底图像作为输入。DeepDKD系统采用大规模弱监督动量对比学习作为提取可转移视觉表示的方法，进一步通过两个任务（检测DKD和区分孤立的DKD和NDKD）进行监督训练。

5）大语言模型（LLMs）是一种基于深度学习的自然语言处理技术，通过大量的文本数据进行预训练，以理解和生成自然语言。其中，利用这些模型开发的chatbot，即聊天机器人，已经成为了当下最具潜力的技术应用之一。而大语言模型（LLMs）尚未在医学场景中得到应用。本项成果提出了名为SynapseLLM的创新chatbot框架，以解决基于LLMs的chatbot存在的医学知识支持差、易产生幻觉及有害内容的缺点。

本项成果涉及的“应用人工智能的深度学习技术来诊断和预测眼科及其他慢性病技术”算法包，能够在临床条件下解决无创性诊断、分类、预警、预测等多种功能，在实际操作使用中也有更好的人机交互体验，解决了目前市面上此类算法模型缺乏和易用性不佳的多项痛点问题。

2. 解决方案

本项成果涉及应用人工智能的深度学习技术来诊断和预测眼科及其他慢性病，包括糖尿病、冠心病和肾脏疾病相关的预测算法，以及拥有医学知识储备的大语言模型框架，涉及技术包括：DeepDR Plus，DeepDR-LLM，DeepCHD-FGLM，DeepDKD，Chatbot。

图1 DeepDR Plus系统设计

图2 DeepDR-LLM系统设计

本项成果涉及的5项算法技术，可以以软件的形式提供给客户使用，使用场景包括医院、连锁药店、连锁眼镜店、健康筛查中心以及初级社区卫生保健机构等。通过在这些场景中，无创性给予使用者慢性系统性疾病的诊断及风险评估，以实现人工智能切实参与与实际应用于患者及健康人群，辅助进行慢性系统性疾病的早期筛查预警、风险评估等。本项成果有利于健康整合：致力于将解决方案融入全球关键医疗领域，以提升疾病筛查的可及性和效率；有利于消费者参与：满足不断增长的个性化健康管理工具需求，提高健康人群与患者参与度和自我监测；专注于多元化的医疗保健领域，推动慢性病筛查并为全球医疗保健领域做出有意义的贡献。

1）首阶段计划与主要药房和眼镜连锁店建立合作伙伴关系，以在尽可能多的地点建立提供视网膜成像资产的渠道。通过将Oculomics技术整合到这些渠道中，在第一年内实现市场渗透和品牌认知。提供一种非侵入性方法，用于早期系统性疾病的视网膜成像检测，并为合作伙伴员工提供全面培训和持续技术支持。

2）在第二阶段，将聚焦于蓬勃发展的数字健康市场，该市场是由智能手机普及率提高和消费者对个性化健康解决方案需求推动的。目标市场将是主动健康管理感兴趣的科技爱好者。第二阶段业务目标包括开发并推出一款用户友好的移动应用，收集和分析健康数据以提供个性化健康洞察，并从B2B模式转变为B2C模式以增加直接销售。该移动应用将根据Oculomics筛查结果提供个性化健康建议，包括健康跟踪和监测、个性化健康提示和建议以及与可穿戴设备和其他健康应用集成。

3）通过运用创新的Oculomics技术，旨在彻底改变健康筛查和个性化健康管理。采取分阶段方法，从强大的B2B基础开始，逐步扩展到全面的B2C模式，为实现长期成功和显著的市场影响奠定了基础。

本项成果通过整合五种算法到一个慢病筛查平台中，将带来以下几个关键的竞争优势：

1）慢病筛查平台整合了多种算法，具备全面的筛查能力，为慢性病管理提供了多种方法。其中包括专门用于评估糖尿病视网膜病变（DeepDR plus）、评估DR严重程度（DeepDR-LLM）、预测冠状动脉疾病风险（DeepCHD-FGLM）以及检测和分期慢性肾病和糖尿病肾病（DeepDKD）的专用工具。使医护人员能够在单一平台上处理多种不同类型的患者情况，从而提高诊断效率和患者护理水平。

2）针对每种疾病特征定制的算法，确保在风险评估、严重程度区分和分期方面具有高准确性，从而提高了诊断和预测的精确度，支持更明智的决策和有针对性的干预措施。

3）优化的工作流程：通过统一的平台访问多种算法，简化了筛查过程。供应商可以管理各种评估，无需在不同的系统或平台之间切换，从而降低了行政负担和运营复杂性。

4）积极参与的患者：通过引入AI驱动的聊天机器人（Chatbot），为患者提供个性化的咨询服务，并整合最新的医学研究。这一功能不仅提供了有价值的信息和建议，还增进了患者参与度和对治疗方案的遵从性。

5）慢病筛查平台的设计具有良好的可扩展性和适应性，可以轻松添加新算法，从而促进持续改进并适应不断涌现的医学洞见。这种可扩展性确保平台始终处于技术进步和临床最佳实践的前沿。

总的来说，这些算法的整合使慢病筛查平台成为慢性病管理领域全面且灵活的解决方案，在诊断准确性、运营效率和患者参与度方面带来了显著的益处。