机器学习笔记 -如何检测数据集上的数据漂移？

最新推荐文章于 2025-06-19 13:42:02 发布
最新推荐文章于 2025-06-19 13:42:02 发布
阅读量361 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习从入门到精通 文章标签： 机器学习 深度学习 数据漂移 概念漂移 KS检验
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bashendixie5/article/details/132516483
数据漂移是指输入数据的统计属性随时间变化，影响模型的准确性和有效性。本文探讨了数据漂移的原因，如用户行为变化、季节性、数据源变更等，并介绍了检测数据漂移的方法，如KS检验、群体稳定指数(PSI)和Page-Hinkley方法，强调了持续监控和反馈循环的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、什么是数据漂移？

        机器学习模型的准确性和可靠性至关重要。但是模型所依赖的数据很少是静态的，并且会随着时间的推移以不可预测的方式发生变化。这种现象被称为数据漂移，它对模型的有效性提出了重大挑战。

        数据漂移，也称为协变量漂移，当输入数据的统计属性随时间变化时发生，导致模型训练期间使用的数据分布与模型部署或现实世界中遇到的数据分布之间存在差异场景。简而言之，数据漂移意味着构建模型所依据的数据不再代表预期进行预测的数据。

        数据漂移会显着影响机器学习模型的性能和准确性。当基础数据分布发生变化时，模型的假设变得无效，导致预测不理想并可能导致结果不准确。例如，经过训练以根据历史数据预测客户偏好的模型可能无法捕获不断变化的趋势或外部事件，从而导致预测能力下降。

        当输入特征和目标变量之间的关系随时间变化时，就会发生概念漂移。模型的原始假设已经不能完全成立。

   &nbs

了解本专栏 订阅专栏 解锁全文
机器学习模型监控：数据漂移与概念漂移检测方法
AI天才研究院
05-03 953
随着机器学习模型从实验室走向生产环境，模型监控成为保障系统可靠性的核心环节。据Gartner报告显示，85%的企业级AI模型在部署6个月后因数据分布变化导致性能衰减超过30%。本文聚焦模型监控体系中最关键的两类漂移现象——数据漂移（Data Drift）和概念漂移（Concept Drift），系统讲解其检测原理、算法实现和工程落地方法，帮助读者构建从理论到实践的完整知识框架。基础理论：明确数据漂移与概念漂移的本质区别，构建漂移检测的核心术语体系技术体系。
零样本学习 (Zero-Shot Learning)：突破传统机器学习的界限
AI天才研究院
06-30 381
在传统的机器学习范式中，模型的训练和测试通常基于同一分布的数据集。这种方法要求训练数据包含所有可能的类别，并且每个类别都有足够多的样本。然而，在现实世界中，我们经常面临需要识别或分类全新类别的情况，这些类别在训练数据中可能完全没有出现过。这就引出了一个关键问题：如何使机器学习模型能够识别和理解它从未见过的类别？零样本学习（Zero-Shot Learning，简称ZSL）正是为了解决这一挑战而提出的。它旨在训练一个能够识别未知类别的模型，即使在训练过程中没有见过这些类别的任何样本。
流数据概念漂移的检测算法
01-14
<p>鉴于流数据具有实时、连续、有序和无限等特点, 使用近似方法便可检测连续分时段的流数据序列, 基于此,<br> 运用目标分布数据, 结合相似分布理论, 提出了利用Tr-OEM 算法对流数据中的概念漂移现象进行检测. 该算法能够<br> 动态地判断流数据概念漂移的发生, 自适应地优化概念漂移的检测值, 适用于不同类型的流数据. 通过分析和实验仿<br> 真可以表明, 该算法在处理流数据概念漂移时具有较好的适应性.</p>
数据漂移解决方案
最新发布
qq_22201881的博客
06-19 369
如果直接通过多获取后一天的数据,然后限制这些时间,则可以获取到相关数据,但是后一天的数据可能已经更新多次,我们直接获取到的那条记录已经是更新多次后的状态,数据的准确性存在一定的问题。因此,我们可以根据实际情况获取后一天15分钟的数据,并限制多个业务过程的时间戳字段(下单、支付、成功)都是“双11"当天的,然后对这些数据按照订单的modified time做升序排列,获取每个订单首次数据变更的那条记录。通常是指ODS表的同一个业务日期数据中包含前一天或后一天凌晨附近的数据或者丢失当天的变更数据。
一文介绍数据和模型漂移(Drift)：漂移检测示例
csdn1561168266的博客
05-21 4932
大家好，漂移(Drift)是机器学习中用来描述模型在生产环境中随着时间推移而性能逐步下降的现象，由很多原因引起，主要原因是随着时间推移输入数据（x）分布的变化和期望目标（y）之间的关系发生了变化。在使用机器学习模型时，漂移是一个很大的挑战，因为数据通常是动态的，不断变化的。机器学习模型是基于过去的数据进行学习的，但在实际使用时，由于环境的变化，这些模型可能会渐渐失去准确性，就像是“过气”一样，这种现象被称为“漂移”。数据漂移可以被看作是导致模型漂移的原因之一，而模型漂移则是由数据漂移的影响而产生的结果。
机器学习概念漂移检测方法（Aporia）
吃果冻不吐果冻皮
07-03 3739
目前，有多种技术可用于机器学习检测概念漂移的方法。熟悉这些检测方法是为每个漂移和模型使用正确度量的关键。 在本文章中，回顾了四种类型的检测方法：**统计**、**统计过程控制**、**基于时间窗口**和**上下文方法**。 ......
数据流异常检测的概念漂移现象
Re1aXD的博客
01-17 3152
更新日期：2021/01/17Data drift知乎：概念漂移（concept drift）总结。
机器学习：数据分布的漂移问题及应对方案
新缸中之脑
06-14 4049
首先，让我们从一位高管告诉我的一个故事开始，很多读者可能对此感同身受。大约两年前，他的公司聘请了一家咨询公司开发一个机器学习模型，帮助他们预测下周每种食品杂货需要多少，以便他们可以相应地补货。这家咨询公司花了六个月的时间来开发这个模型。当咨询公司将模型交给他时，他的公司就部署了它，并对其表现非常满意。他们终于可以向投资者夸耀他们是一家人工智能公司了。然而，一年后，他们的数字下降了。一些商品的需求一直被高估，导致多余的商品过期。与此同时，一些商品的需求一直被低估，导致销售额下降。
【机器学习算法基础】（基础机器学习课程）-05-机器学习概述-笔记
g1997c的博客
06-27 975
Iris数据集UCI机器学习库150个样本，4个特征多分类主要用于数据预处理。fit（计算数据的统计信息），transform（转换数据），（一次性完成计算和转换）。主要用于训练和评估机器学习模型。fit（训练模型），predict（预测数据），score（评估模型性能）。机器学习算法可以根据学习方式和任务类型进行分类，常见的有监督学习、无监督学习、半监督学习和强化学习等。开发流程包括定义问题、收集数据、选择模型、训练和评估模型、模型部署以及监控和维护等步骤。
机器学习测试-入门与实践 读书笔记
qq_41686821的博客
07-16 504
第八章 机器学习测试基础 8.1 了解机器学习的周期 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-znsVkDI6-1626365517133)(/Users/wengzhiqiang/Library/Application Support/typora-user-images/image-20210715234727272.png)] 收集数据：包括数据的采集、数据集划分等等工作； 特征工程：对收集的数据进行数据预处理、对特征依各种指标进行选择等等； 训练模型：包括模型
机器学习之聚类学习笔记-利用python的sklearn实现
SUOLONG1的博客
05-05 667
学习来源
常见的概念漂移检测方法对比
m0_74427613的博客
05-02 3258
概念漂移是机器学习模型学到的输入输出关系的变化。举个垃圾邮件识别的例子：假设有一个用大量的电子邮件数据集来训练的机器学习模型来检测电子邮件是否为垃圾邮件，他的正确率很高。如果垃圾邮件发送者想出了新的方法，使得曾经的垃圾邮件看起来像是普通邮件，那么这个模型在一段时间后检测的正确率会下降。这种变化就是概念漂移的一个例子。原因是垃圾邮件的概念，即正确的标签（目标变量）发生了变化；随着垃圾邮件发送策略的变化垃圾邮件在数据集中的比例、特征也发生了变化，即数据分布发生了变化。
2022！影响百万用户金融信用评分，Equifax被告上法庭，罪魁祸首——『数据漂移』！
热门推荐
ShowMeAI研究中心
09-15 1万+
数据随着时间变化，会导致已有模型的准确度大打折扣，这就是数据漂移问题。本文讲解数据漂移问题的诸多实际案例、检测方法、基于evidently库的代码实现。
解析机器学习中的数据漂移问题
2401_85373691的博客
07-15 1241
MLOps是构建机器学习模型并将其部署到生产环境中的一个组成部分。数据漂移可以属于MLOps中模型监控的范畴。它指的是量化观察数据相对于训练数据的变化，这些变化随着时间的推移，会对模型的预测质量产生巨大的影响，而且往往是更糟的影响。跟踪与训练特征和预测有关的漂移指标应该是模型监测和识别模型何时应该重新训练的重要组成部分。可以参考作者的另一篇文章（，了解在生产环境中监控ML模型相关概念和架构的更多细节。你可能不想监测与你的模型预测或模型特征相关的漂移，比如当你在进行模型预测的基础上定期重新训练模型。
软件测试之鲁棒性测试
诊断协议那些事儿's blog
12-16 1261
Bootloader软件刷写鲁棒性(Robustness)测试是指对Bootloader软件进行连续多次的刷写测试，且一次Fail都没发生，以此验证Bootloader软件的可靠性。鲁棒性是指软件对于异常输入和异常操作的处理能力。鲁棒性测试是通过模拟和验证软件在面对异常情况时的反应和处理能力,评估软件在异常情况下是否能够正常工作或者恢复到正常工作。
数据集的两种漂移
frank_haha的博客
05-20 853
首先，我们回顾一下有监督机器学习的任务。我们可以将其抽象为：从输入X∈XX∈X预测输出Y∈YY∈Y。二者的联合分布PYXP(Y,X)PYXPY∣XPXP(Y|X)P(X)PY∣XPX。其中PXP(X)PX是通常意义下的输入的分布，PY∣XP(Y|X)PY∣X可以看作是机器学习模型需要学习的映射关系，PYXP(Y,X)PYX是最终的 target。
数据漂移
鸭梨的博客
02-03 2005
概念 数据漂移是 ODS 数据的一个顽疾，通常是指 ODS 表的同一个业务日期数据中包含前一天凌晨附近的数据或者丢失当天的变更数据。 案例 落地到ODS的数据需要按日切分,但是有很多时间戳字段,以哪个为准好呢? 通常，时间戳字段分为四类： 数据库表中用来标识数据记录更新时间的时间戳字段（假设这类字段叫 modified time ）。 数据库日志中用来标识数据记录更新时间的时间戳字段·（假设这类宇段叫 log_time）。 数据库表中用来记录具体业务过程发生时间的时间戳字段 （假设这类字段叫 proc_ti
时序数据之概念漂移检测学习笔记
常隆涛的博客
12-01 3505
1]陈九妹. 基于CEEMDAN-ARO-LSTM模型的短期光伏发电功率预测研究[D].江西财经大学,2023.DOI:10.27175/d.cnki.gjxcu.2023.000769.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坐望云起

如果觉得有用，请不吝打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值