机器学习在数字医疗流行病学中的应用

感染控制与医院流行病学 (2018),0,1–6

doi:10.1017/ice.2018.265

评审

数字医疗流行病学中的机器学习导论

为了充分利用大规模常规数据在医疗领域的潜力,并有效地与信息技术专家和数据分析师进行沟通与合作,医疗流行病学家应具备一些大规模分析技术的知识,特别是机器学习方面的知识。本综述聚焦于机器学习这一广泛领域及其在新兴的数字医疗流行病学领域的初步应用。

(于2018年8月16日收到;于2018年9月28日接受)

背景

医疗流行病学在美国和欧洲的重要性日益增加,原因在于医院面临的财政压力不断加大、多重耐药病原体的出现增多以及医疗服务提供和系统的复杂性不断提高,并且在大数据时代可能会进一步发展。

在医疗保健领域,电子病历的持续采用和整合、数据源的链接以及新型诊断和数字监测技术的出现,导致了常规电子数据的数量和多样性达到了前所未有的水平。医疗保健中的大数据可用于更好地发挥感染预防与控制、质量改进以及医院资源的优化分配的潜力。

对于医疗流行病学家而言,要利用大数据,需要能够处理大型数据集的计算系统和方法。随着常规医疗数据的不断增加以及处理速度的提升(计算能力每两年翻一番,成本不变),机器学习正越来越多地应用于医疗项目,并有可能成为医疗流行病学中的关键分析工具。

因此,专注于医疗人群的数字医疗流行病学可能会成为一个重要的流行病学领域,类似于主要利用一般人群中的社交媒体数据和其他例行数据源而迅速发展的数字流行病学。与流行病学的总体领域相似,这些相互关联领域的首要目标——数字流行病学和数字医疗流行病学——旨在了解特定人群中健康相关状态的分布及其决定因素,并利用这些知识来改善健康和预防疾病。为简便起见,我们将传统医疗流行病学与数字医疗流行病学之间的范围划分为三个轴:(1)分析方法,(2)数据来源,以及(3)数据类型(图1)。

为了充分挖掘大规模常规数据在医疗领域的潜力,并高效地与IT专家和数据分析师进行沟通与协作,医疗流行病学家需要掌握一些大规模分析技术的知识,特别是机器学习。

本综述介绍了机器学习这一广泛领域及其在数字医疗流行病学新兴领域中的最新应用,包括预测、趋势和模式检测(例如用于监测目的)以及风险因素识别。先前已有研究回顾了依赖于例行医疗数据和大数据的研究所面临的主要挑战与机遇。

机器学习:简介

机器学习作为一个学科起源于计算机科学,与统计学有着非常紧密的联系,但很难在两者之间划出明确的界限。相比起源于数学领域的统计学(其发展远早于计算机的出现),机器学习是一个较年轻的领域。机器学习和统计学有着共同的目标:从数据中进行学习。例如逻辑回归,这是统计学中的一种标准方法,在机器学习领域则被称为机器学习算法。对于随机森林等较新的算法也是如此,它们是广为人知的机器学习算法,由统计学家利奥·布雷曼开发。

机器学习 broadly 可分为两个子领域:监督式学习和无监督学习。在监督学习中,输入数据和相应的目标值(即结果)均可被观测到。一个例子是将患者分类为患病或健康。领域专家(例如,医生)会为每位患者分配一个注释(“标签”),例如患病或健康。目标是找到能够最好地区分这两类的最佳模型,以便为新的未标记患者正确分配患病或健康标签,或识别重要的协变量。这类问题被称为分类问题(图2)。众所周知的分类算法包括逻辑回归、随机森林、支持向量机和神经网络的变体。

使用哪种分类算法取决于数据类型(例如图像、文本、实验室指标和基因数据),以及数据的大小和数据维度。应仔细选择相应的模型,使其能够很好地泛化到未见过的数据,而不仅仅是记忆训练数据(这种现象称为“过拟合”)。回归算法是另一种知名的监督式机器学习方法。在回归问题中,目标不是分离两个或多个类别,而是找到最能描述数据的函数,以预测新数据点的正确值(图3)。

在无监督学习中,训练数据由一组输入变量组成,不包含监督学习所需的相应目标值(结果标签)。无监督学习问题的目标是发现数据中的模式并提取隐藏结构,完全通过数据驱动实现,无需专家标注。典型的例子是聚类问题,旨在将相似的数据点分组到一起(图4)。示例包括医院获得性感染患者的亚型检测,以及发现相似的患者亚组以将患者分配到临床试验中。用于无监督学习的典型机器学习方法包括k‐均值聚类或概率高斯混合模型。

示意图0
示意图1
示意图2
示意图3

近年来,由于医疗领域中可获得的常规电子数据量巨大且种类多样,机器学习技术在医疗流行病学领域变得越来越流行。然而,理论机器学习研究与临床研究之间仍然存在差距。开发新型机器学习技术的研究人员通常具有计算机科学、数学或物理学背景。他们进行前沿研究,开发新算法,甚至可能将这些算法应用于医疗数据。但是,他们对日常临床实践中数据生成过程缺乏全面了解。另一方面,医疗专业人员对临床问题以及特定医疗数据的质量有着深刻理解。如今,他们通常能够使用标准统计软件包(例如,R)自行应用一些机器学习方法。然而,一些医疗专业人员可能不了解模型背后的假设和局限性,这可能导致统计上不合理的模型或过拟合模型。这两个研究领域相互补充;要将数字医疗流行病学提升到一个新的水平,需要这些领域之间的相互理解、沟通与合作。

机器学习:在数字医疗流行病学中的最新应用

大量最近的报告展示了机器学习在数字医疗流行病学中的首批应用,最常见的是基于常规医疗数据进行预测(表1)。

通过机器学习可以实现这一目标,特别是分析大规模且多样化数据集合(有时涉及数千个变量),而这些数据可能会使更多依赖人工指导的建模方法变得复杂。

在一项基于密歇根大学医院电子病历数据以及马萨诸塞州总医院的典型回顾性研究中,Oh 等人采用数据驱动的方法,使用L2正则化逻辑回归构建针对特定医院的模型,以估算患者每日发生艰难梭菌感染(CDI)的风险。这些机器学习模型基于>150,000例成人住院患者的数据构建并进行了内部验证,涉及数千个时间不变和时间变化变量,预测性能良好,受试者工作特征曲线下面积范围为0.75至0.82。在两家机构中,模型均能在CDI诊断前至少5天识别出一半的真实阳性病例。作为监测或决策支持工具的一部分,这些模型有助于在微生物学检测结果出来之前快速识别新的CDI病例,或用于筛选应接受艰难梭菌检测的患者。此外,研究还识别出一系列机构特有的预测因子(例如特定科室),这可能促使医疗流行病学家开展进一步调查,以生成关于CDI发生或传播风险因素的(因果)假设。该研究很好地说明了医疗保健领域从构建“一刀切”的预测模型向应用更多以患者为中心的分析方法的范式转变,这种转变可能导致多种不同的数据驱动预测模型的出现。这种灵活的方法可以整合异质且不断变化的常规变量,但这也可能使跨医疗机构通用的预测模型的开发和应用变得复杂;来自不同系统的变量并非都能轻易对应。此外,这种方法允许机构在后续过程中调整其模型,而这种灵活性是必要的,因为电子病历中的变量及其相应的编码实践可能会发生变化,且基于回归分析和机器学习所构建的模型可能出现校准漂移。

即使使用基于大量潜在预测因子的最先进的机器学习算法,某些关注的结果也可能无法被准确预测。这一点最近在埃斯科瓦尔等人对凯撒医疗机构北加州地区21家医院的电子病历详细数据进行的一项回顾性研究中得到了说明。在这项研究中,无论是传统模型还是机器学习模型,在预测复发性艰难梭菌感染方面均未表现出良好的区分能力。此类研究结果可能表明,尽管本研究中拥有丰富的电子病历数据,但相关预测因子可能难以通过机器学习识别,甚至可能根本未包含在记录中。

此外,大多数机器学习预测模型的外部有效性和临床有效性,如同医学领域的大多数预测模型和评分一样,尚不明确。特别是在预测模型的开发和应用过程中,应以反映临床实践的方式对模型进行仔细评估。与传统预测模型相比,机器学习有时是一种“黑箱”方法,机器学习算法对预测变量的选择可能不透明且难以直观理解。然而,通过机器学习进行预测建模(与其他统计技术一样)并不要求仅包含因果预测因子,因为即使变量本身与感兴趣的结果无因果关系,也可利用大量变量及因果因素的代理指标来构建准确的预测模型(例如,脑钠肽作为心力衰竭的标志物)。

与预测任务相比,关于在医疗流行病学中使用机器学习进行因果推断以及识别独立风险因素(即因果建模)的报道较少,而这需要对偏倚进行仔细考量。混杂、交互作用、反向因果关系以及偶然效应。一些机器学习算法能够检测变量之间的线性和非线性交互作用,但在缺乏人工指导和专家知识的情况下,通过概念性因果框架充分解决混杂问题可能具有挑战性。已有研究提出可处理可观测的混杂的机器学习算法,未来这些方法可能会更加先进。因此,可以通过机器学习从常规医疗数据中生成因果假设,且所需人工指导较少(例如,识别隐匿性疫情来源)。然而,在观察性研究中应用机器学习无法替代样本量充足且执行良好的随机对照试验来进行因果推断,因为随机对照试验能够控制已知和未知/未测量的混杂因素。

最近大多数将机器学习应用于医疗流行病学实际任务的研究,至少部分依赖于来自电子病历的例行数据(表1)。这些丰富的数据源已被证明在针对先前未知的风险因素提出假设,以及构建针对各种感兴趣结果(例如,特定的医疗相关感染、医院并发症)的准确预测模型方面特别有用。

将电子病历数据与高质量队列或登记数据进行链接,已成为一种有价值的选项,可添加常规医疗记录中可能不存在的暴露、潜在混杂因素、效应修饰因子和结果,并采用严格的定义标准。这一选项尤为有价值,因为据报告,由于定义标准/编码实践的变化和差异以及缺失数据,电子病历(及其其他例行数据来源)的数据质量有时低于前瞻性调查所获取的数据。因此,依赖常规收集的健康数据的研究需要在研究设计阶段和分析阶段仔细考虑信息偏倚、选择偏倚和残余混杂的可能性。此外,相关研究结果的报告应尽可能透明。

除了结构化的例行数据元素外,非结构化数据(例如临床记录)现在可以通过自然语言处理的机器学习方法进行分析,从而提供合理的信息;这种方法可以进一步增加可获取的常规医疗数据的体量。然而,从日常例行临床记录中获得的医疗数据的增量价值尚未得到证实,且非结构化和结构化的例行数据并不总是可靠和适用的。

为了利用来自健康记录和其他常规数据源的日益增长的常规医疗数据体量,在任何机器学习任务中都需要考虑数据质量、数据异质性、缺失数据和选择性数据收集等问题;此前已有研究回顾了依赖常规医疗数据和大数据的研究所面临的主要挑战与机遇。

知识空白

迄今为止,关于最先进的机器学习在医疗流行病学中的应用报道较少。特别是,基于机器学习的预测模型在改善医疗服务提供方面的有效性和实效性仍有待证实。值得注意的是,机器学习如何充分转化为临床实践在很大程度上仍不清楚。因此,需要开展更多研究来阐明机器学习在医疗流行病学中的益处、弊端以及意外后果,并了解如何最好地将机器学习的成果应用于医疗实践。尽管有许多耸人听闻的媒体报道,但机器学习并非一种能将低质量数据转化为黄金的魔法技术,正如一位数据科学家最近所言:“医疗领域的机器学习仍处于蛮荒西部状态。”

常规医疗数据的数量、多样性和速度日益增加,显然为医疗流行病学中的监督式及潜在的无监督机器学习任务提供了巨大潜力。然而,为了充分利用(大型)常规数据进行质量改进和医疗研究,必须建立相应的方法学、伦理和数据安全标准以应对这些发展。

总结

数字医疗流行病学是医学领域中一个不断发展的学科,其发展得益于医疗日常常规记录所产生的大数据日益增多。机器学习可能成为医疗流行病学家工具库中的重要工具,以更好地利用大数据在感染预防与控制、质量改进以及医院资源的优化分配方面的潜力。由于机器学习项目的复杂性,通常应在领域专家与机器学习专家之间依据最佳实践进行紧密合作来开展。

8、数字医疗中机器学习的应用:健康系统规划与优化 本文探讨了机器学习在数字医疗中健康系统规划与优化的应用,重点介绍了部分可观测马尔可夫决策过程(POMDP)和基于模拟的决策方法。通过构建顺序替代模型,结合蒙特卡罗树搜索(MCTS)与高斯过程回归(GP-MCTS),实现了对复杂流行病学环境的高效建模与决策优化。文章还阐述了如何利用领域知识提升模型一致性与决策效率,并比较了MC、TD、MCTS等方法的适用场景,提出了从数据准备到决策生成的实际应用流程,展望了多模型融合、实时学习及技术集成的未来方向。 阅读详情

相关推荐

9、新冠疫情流行病学中的机器学习技术洞察

本文深入探讨了机器学习技术在新冠疫情流行病学中的广泛应用,涵盖疫情的地理分布、疾病轨迹预测、传播动力学分析、临床特征识别及免疫反应评估等方面。通过多个研究案例和表格总结,展示了机器学习在处理海量医疗数据、精准预测疫情趋势、辅助临床诊断与防控决策中的显著优势。同时,文章也分析了当前面临的挑战,如数据质量、模型可解释性及对新变种的适应性,并展望了未来持续优化模型、多学科融合与全球数据共享的发展方向,强调机器学习在应对公共卫生危机中的关键作用。

u8v9w0x1y的博客 90

拉丁美洲数字医疗进展

本文以巴西和墨西哥为例,探讨数字医疗在拉美地区的应用进展,涵盖医疗分析、人工智能与普适医疗三大方向。通过多个研究项目展示如何利用数据科学、机器学习和传感技术提升医疗服务效率,应对资源不均与慢性病挑战,并指出数据质量、基础设施与个性化需求等关键问题。

nokia的博客 667

37、机器学习在数字医疗保健中的应用与实现

本文探讨了机器学习在数字医疗保健中的应用现状、实现技术与部署挑战。文章回顾了不同类型数据在医疗场景中的ML应用,分析了基于GPU的计算优化方法,包括矩阵分块、内存层次结构利用和混合精度运算,并提出了应对实时性、内存瓶颈和资源消耗的策略。同时展望了个性化医疗、智能设备和医疗数据协作等未来发展方向,强调通过技术创新推动机器学习在医疗领域的深度应用。

yhn456789的博客 84

10个最佳开源Python医疗健康应用:患者监测与数据分析工具完全指南

欢迎来到开源Python医疗健康应用的世界!这里汇集了众多出色的医疗软件工具,它们恰好都是用Python开发的开源项目。这些应用涵盖了从患者监测到医学数据分析的各个领域,为医疗工作者和研究人员提供了强大的技术支持。 ## 🌟 医疗健康应用精选推荐 ### 1. Healthchecks - 健康检查监控系统 Healthchecks是一个功能强大的健康检查监控服务,专门用于监控定时任务和后台

gitblog_00586的博客 1238

5、机器学习在数字医疗与全球卫生系统规划中的应用

本文探讨了机器学习在数字医疗与全球卫生系统规划中的关键应用。在数字医疗方面,ADAM优化方法加速参数搜索,L2正则化有效防止过拟合,提升模型泛化能力;在全球卫生领域,基于模型的决策制定、代理模型(如高斯过程回归)和集成方法被用于流行病预测与政策评估,增强预测准确性并量化不确定性。通过疟疾控制和COVID-19等案例,展示了机器学习在复杂卫生系统中的实际价值,展望了其在未来公共卫生决策中的广阔前景。

yhn456789的博客 55

8、机器学习技术在 COVID - 19 流行病学中的应用洞察

本文探讨了机器学习技术在COVID-19流行病学研究中的应用。从疾病的地理分布、传播动态、临床特征到免疫反应和再次感染风险,机器学习通过分析海量数据,提升了疫情趋势预测的准确性,并支持个性化防控策略的制定。文章还概述了机器学习在数据驱动下的建模流程,强调其在实时监测、多学科融合和未来公共卫生应对中的重要作用,同时指出了数据质量与模型可解释性等挑战,展望了技术深度融合的发展方向。

u8v9w0x1y的博客 81

AI+安防在智慧医疗中的深度应用与前景

随着新型智慧城市建设的逐步落地,围绕“以人为本、惠民便民、绩效导向、客观量化”的新型智慧城市评价体系也作为国家标准指导者智慧城市建设,评价指标中分为主观指标和客观指标,主观指标强调市民体验,旨在注重公众满意度和社会参与度。客观指标重点围绕城市发展现状、发展空间、发展特色进行,包括7个一级标准。其中包括惠民服务、精准治理、生态宜居三个成效类标准,旨在客观反映智慧城市建设实效;智能设施、信息资源、网络安全、改革创新四个引导性标准,旨在发现发展城市的潜力。作为智慧城市建设的重要建设内容之一的智慧医疗也随着...

夜澜偶作庄周梦 酒后聊为楚客狂 2919

9、机器学习在数字医疗保健中的应用与健康系统规划优化

本文探讨了机器学习在数字医疗保健中的应用,重点分析了基于强化学习的最优策略与规划方法,比较了单步与多步控制策略在流行病干预中的成本效益。文章提出了支持疾病预测与控制的系统架构,涵盖微服务、容器化、云计算和API等关键技术,并定义了作业、实验、干预计划和决策变量等核心概念。系统支持政策制定者、建模者、机器学习从业者等多类用户协同工作。通过计算资源的高效协调与共享,结合先进的算法设计,为健康系统优化提供了可扩展、灵活的技术框架。未来方向包括算法优化、数据整合、跨领域合作与系统安全增强。

yhn456789的博客 54

MIT 6.S897 医疗机器学习 2019 中文笔记(二)

所以今天的讲座将继续,在周二的讲座上,它向你介绍了因果关系,所以因果推理设置,就是我们,呃,我们在这门课中学习的,是一个非常简单的,从因果图的角度,有三组感兴趣的变量,你所知道的关于个人或病人的一切。我们在这里叫X,今天的讲座,我们将假设它要么是零,要么是一,所以二元干预,你要么接受,要么不接受,结果是Y,是什么让理解干预对结果的影响这个问题变得具有挑战性,我们必须从观测数据中做出推断。

龙哥盟 1928

10、数字医疗中机器学习的应用与医疗系统的应对策略

本文探讨了数字医疗中机器学习的应用,重点介绍了基于分布式账本技术和用户界面设计的平台架构,以及其在疾病建模与控制中的性能优势。通过集成学习与规划生命周期、共享代理模型和举办机器学习竞赛,推动医疗系统的智能化与协作化发展。文章还分析了相关技术对比、竞赛机制设计及未来发展方向,展示了机器学习在提升医疗决策效率与精准性方面的巨大潜力。

yhn456789的博客 63

12、机器学习在数字医疗与图像引导显微手术中的应用

本文探讨了机器学习在数字医疗与图像引导显微手术中的前沿应用。首先介绍了多个医疗相关竞赛,如'Learning to Run'、'AI for Prosthetics'和'Personalized Medicine',展示了机器学习在运动健康、假肢康复和癌症精准治疗中的潜力;同时提出将机器学习用于疟疾消除策略模拟的新方向。随后详细阐述了图像引导显微手术的全流程,包括术前成像(CT、MRI、OCT等)、图像预处理、分割、结构注册及可视化技术,并对比了不同成像方式与算法的优劣。强调人机协同在医疗决策中的重要性,以

yhn456789的博客 62

数字医疗时代的药物警戒变革

随着医疗数据的数字化,药物警戒正面临从传统模式向整合个体与群体安全的新范式转变。本文探讨信息学在推动药物警戒发展中的关键作用,提出涵盖操作定义、数据模型、术语体系、信号发现、因果评估与个体风险画像的研究议程,旨在重构以患者为中心的药品安全体系。

o0p1q2r3的博客 644

11、机器学习在数字医疗保健中的应用:疟疾控制竞赛解析

本文深入解析了机器学习在数字医疗保健中的应用,特别是2019年KDD Cup疟疾控制竞赛的组织形式、技术框架与创新方法。文章介绍了竞赛采用的多阶段环境设计、基于模型的强化学习策略以及评估机制,并对比了Indaba Hackathon和NeurIPS相关赛事的特点。通过分析参赛者使用的Q学习、策略梯度、遗传算法及贝叶斯优化等技术,揭示了高效算法在复杂流行病决策中的优势。同时探讨了竞赛对实际疟疾防控策略的启示,强调跨领域合作与技术创新对未来公共卫生的重要推动作用。

yhn456789的博客 60

医疗数字化与大数据分析

本文综述了医疗领域向数字化和大规模数据分析的转型趋势,涵盖电子健康记录、个性化医疗、连续健康监测及数据隐私等关键议题。文章探讨了大数据在临床决策支持、疾病预测和精准医疗中的应用,并分析了跨机构数据共享、患者赋权和监管挑战。通过多个实际项目案例,展示了数据驱动医疗的潜力与现实障碍。

gpu4optimizer的博客 736

6、数字医疗中机器学习的应用与健康系统规划优化

本文探讨了机器学习在数字医疗中的应用,重点分析了流行病学模型校准、贝叶斯优化和在线学习方法在健康系统规划与优化中的作用。通过引入贝叶斯优化提高模型参数校准效率,并结合随机多臂老虎机框架从模拟中学习最优干预策略,文章提出了一种以成本效益为导向的决策支持方法。利用伤残调整生命年(DALY)和经济成本构建奖励信号,实现对不同干预措施的量化评估,为实现疾病控制等公共卫生目标提供科学依据。

yhn456789的博客 55

4、揭秘医疗领域的大数据与机器学习

本文深入探讨了大数据与机器学习在医疗领域的应用,重点解析了医疗大数据的‘3V’概念(Volume、Variety、Velocity)及其扩展维度Value和Veracity。文章结合具体案例,分析了医疗大数据在疾病预测、药物研发和资源调度等方面的实际应用,并针对数据隐私、标准互操作性及人才短缺等挑战提出了应对策略。通过技术、数据和业务的深度融合,医疗大数据正推动医疗服务向更高效、精准的方向发展。

a1b2c的博客 163

22、人工智能在医疗保健领域的应用

本文全面探讨了人工智能在医疗保健领域的应用,从基础概念到实际案例,涵盖了AI在疾病诊断、手术辅助、药物发现等多个方面的应用。文章分析了医疗数据的复杂性以及AI在处理这些数据中的关键作用,同时讨论了AI在医疗领域面临的挑战,如隐私安全、公众认知和数据处理难题,并提出了可能的解决方案。最后,文章展望了AI在医疗保健中的未来前景,强调了其对提升医疗效率和精准医学发展的巨大潜力。

algae的博客 78

54、数字健康与移动医疗:机遇、挑战与未来发展

本文探讨了数字健康与移动医疗的崛起、多方面应用、相关技术与概念以及未来发展。从个性化医疗到公共卫生,数字健康通过移动和可穿戴设备、人工智能和先进分析方法,正在推动医疗服务的变革。文章还分析了影响其发展的关键因素,包括用户参与度、技术接受度、数据安全与隐私,并强调跨领域合作和可持续发展对未来的重要性。最终目标是实现参与式与个性化的医疗体系。

svm4gardener的博客 78
上一篇: 65、无线传感器网络路由协议与ASIC硬件设计的性能分析
下一篇: 43、计算摄影:光度校准与高动态范围成像
http9protocoller
博客等级 码龄1天 0粉丝 1782原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值