2022!影响百万用户金融信用评分,Equifax被告上法庭,罪魁祸首——『数据漂移』!

数据漂移问题及解决方案 数据漂移是 ODS 数据的一个顽疾,通常指 ODS 表的同一个业务日期数据中包含前一天或后一天凌晨附近的数据或者丢失当天的变更数据。 阅读详情

💡 作者:韩信子@ShowMeAI
📘 数据分析实战系列:https://www.showmeai.tech/tutorials/40
📘 机器学习实战系列:https://www.showmeai.tech/tutorials/41
📘 本文地址:https://www.showmeai.tech/article-detail/331
📢 声明:版权所有,转载请联系平台与作者并注明出处
📢 收藏ShowMeAI查看更多精彩内容

💦 数据漂移

The Only Constant in Life Is Change. 世界上唯一不变的就是变化本身。

这是一句来自希腊的哲学家赫拉克利特写的话,它很简单但却道出了世界的真理之一。在数据科学与机器学习领域,这句话同样是非常有意义的,在生产中部署机器学习模型的许多实际应用中,数据通常会随着时间的推移而变化,因此之前构建的模型会随着时间的推移而变得不准确,效果大打折扣,这就是典型的数据漂移问题。

💦 真实案例

2022年3月17日至4月6日,信用报告机构 Equifax 的系统出现问题,导致 📘信用评分不正确,影响到百万级别的消费者,并导致了针对公司的法律索赔和集体诉讼,业内专家称,这个问题的根源就是数据漂移。

💡 数据漂移

💦 何为数据漂移

当我们在使用数据科学方法解决场景问题时,得到方案之后,在实际生产环境中,如果我们拿到的实时预测数据,分布与用于训练模型的训练数据分布有差异时,就发生了『数据漂移』,而它的后果就是预估不再准确,效果下降甚至直接影响公司的收益。

简单的例子,例如用『口罩政策』之前的互联网数据建模,对『口罩政策』实施时的用户行为预估,那一定会有偏差;又如我们用日常数据建模,构建电商推荐系统,在 618 和双11当天预测,可能也会有偏差,模型效果下降。

训练数据和生产数据之间的差异可能是由多种因素造成的。可能本来使用的训练数据就不合适。

例如,如果使用美国道路数据集训练和检测道路状况,应用在中国的道路上,效果就会差非常多,这也是明显的数据漂移。

现代互联网时代,没分每秒都迅速产生海量大数据,我们的数据源呈现爆炸式增长也更容易会有变化。我们并不能每次都提前预判到『数据漂移』问题,甚至有时候我们会遇到特殊的网络攻击,基于『数据漂移』的知识进行调整和切换攻击方式。

例如,我们基于历史数据构建了效果非常良好的垃圾邮件检测功能,但攻击者可能在某个时候改变发送垃圾邮件的行为,因为送入模型的数据发生了变化,我们原本构建的模型可能真的会被『欺骗』。

因此,很重要的是,我们需要有一套比对和检测的机制,可以及时发现『数据漂移』,并对其进行处理。

💦 检测方法概述

有很多数据漂移的检测方法,最简单的方式是基于统计方法来比较『训练数据』(称为基线或参考)和『实时数据』(生产数据)的分布,如果两个分布之间有着显着差异,我们就判断为发生数据漂移。

最流行的统计检验方法包括 📘Kolmogorov-Smirnov 检验、📘卡方检验、 📘Jensen-Shannon 散度、 📘Wasserstein 距离。 另一类方法是使用机器学习模型来监控数据质量。 我们也可以把两类方法混合使用。

实际生产环境中,统计的方法使用得很多,它们简单且有很不错的效果。下面 ShowMeAI 就基于代码告诉大家如何进行『数据漂移』检测。

💡 代码实现

💦 数据漂移检测

我们在这里会使用到 evidently 这个非常简单易用的工具库,它是一个专门针对『数据漂移』问题构建的工具库,可以对数据 / 标签 / 模型表现等进行检测,不仅可以输出报告,还可以启动实时看板监控。

下面导入工具库

import pandas as pd
from sklearn import datasets 
from evidently.dashboard import Dashboard
from evidently.dashboard.tabs import DataDriftTab, CatTargetDriftTab

evidently的使用步骤如下,我们会先加载数据,然后做漂移分析和检测,最后可以构建看板进行分析结果的呈现。

我们使用sklearn自带的 iris 数据集作为示例来给大家讲解,我们把对应的数据和标签读取出来。

iris = datasets.load_iris()
iris_frame = pd.DataFrame(iris.data, columns = iris.feature_names)
iris_frame['target'] = iris.target

我们把完整的数据集切分为训练集和测试集,对其进行对比和数据漂移分析,最后构建仪表盘看板:

iris_data_drift_report = Dashboard(tabs=[DataDriftTab(verbose_level=verbose), 
                                         CatTargetDriftTab(verbose_level=verbose)])
iris_data_drift_report.calculate(iris_frame[:75], iris_frame[-new_samples:], column_mapping = None)
iris_data_drift_report.show(mode="inline")

注意到参数verbose,它是布尔值,用于控制显示仪表板的详细程度。 上述代码中我们设置为 False,会得到一个报告如下,里面详细分析了训练集和测试集的『特征字段』和『标签』的分布差异情况:

我们也可以通过下列代码去打开看板和存储html报告。

iris_target_drift_dashboard.show()
iris_target_drift_dashboard.save('iris_target_drift.html')

参考资料

浅谈数据仓库 (三) 数据漂移处理 前言 我们是一个做传统会员管理CRM的团队,应用数据的级别比较高,过去会存在这样一种现象,T+1 财务报表,运营统计各类报表 的指标偶尔会和商户的自己记录用户消费储值记录会有出入,后来了解到,我们系统中存在很严重的数据漂移问题,这也是dw系统或者ods来说普遍存在的问题,今天我们好好聊下该如何解决数据漂移问题 数据漂移产生的原因 通常我们把从源系统同步进入数据仓库的第一层数据成为ODS层数据,我... 阅读详情

相关推荐

Scratch 3.0角色控制避坑指南:为什么你的键盘移动总卡顿?

本文深入剖析了Scratch 3.0中角色移动卡顿的根本原因,指出依赖`当按下`事件积木的局限性。通过对比分析,推荐采用`重复执行`结合`如果<键被按下?>`的循环控制方案,并引入速度变量模拟惯性,从而实现流畅、实时的键盘控制优化,显著提升游戏操作体验。

dd012的博客 1017

数据漂移的理解

数据漂移的概念: 同一业务日期下的数据包含了不属于该业务日期的数据(上一天数据漂移到当天,或者当天数据漂移到下一天)或者缺失了该业务日期数据或该业务日期下的数据非最新 数仓常用4个时间介绍 (1)数据库表中用于记录具体业务过程发生时间的时间戳字段(假设这类字段叫create_time); (2)数据库表中用来表示数据记录更新时间的时间戳字段(假设这类字段叫update_time); (3)数据库日志表中用来表示数据记录更新时间的时间戳字段(假设这类字段叫log_time); (4)标识数据记录被抽取到时间的

qq_43118086的博客 7461

冒险岛脚本函数大全:cm.sendYesNo和cm.warp的20个实战用法

本文深入解析了冒险岛脚本中cm.sendYesNo和cm.warp两个核心函数的20个实战应用场景。从基础的确认对话框交互、条件判断,到复杂的装备强化系统、动态传送与副本入口逻辑,文章通过大量代码示例展示了如何组合运用这两个函数,实现从简单NPC到复杂任务系统的进阶脚本开发,并分享了状态管理、错误处理与性能优化等最佳实践。

t4y5u6i7o的博客 1063

Equifax案例分析与合规性场景实践

数据安全已经成为各个组织和企业必须重视的问题,KMS可以加强数据的安全性,满足行业合规性要求,降低法律风险,建立起可信任的数据安全保障体系,并有效地防范类似的数据泄露事件。KMS提供了密钥的访问控制、轮换和审计功能,可以帮助组织和企业确保密钥的安全性和合规性,实现对密钥的细粒度控制,限制特定用户或系统对特定密钥权限,以及密钥轮换策略等,从而提高数据安全性。首先,数据加密是保护敏感数据的首要手段。通过对数据进行加密处理,数据与密钥分开管理,即使数据遭到非法窃取,也无法获取明文信息,从而有效保护数据的机密性。

SafePloy_SH的博客 645

HT7533与1117稳压芯片动态特性对比:实测分析与优化策略

本文深入对比了HT7533与1117稳压芯片的动态特性,包括电压过冲和瞬态响应能力,并提供了实测数据与优化策略。HT7533适合低功耗设备,而1117在大电流和稳定性要求高的场景表现更优。文章还分享了PCB布局和电容选择的实用建议,帮助工程师根据项目需求选择合适的稳压芯片。

weixin_28454475的博客 615

1.2 重叠因子:双重指数移动平均(Double Exponential Moving Average, DEMA)概念与Python实战

双重指数移动平均(Double Exponential Moving Average, DEMA)是一种改进的移动平均线指标,由Patrick Mulloy在1994年开发。相比传统的指数移动平均线(EMA),DEMA通过减少滞后性来提供更快的市场反应。它通过两次计算EMA并进行特殊组合来实现这一目标,可以在保持平滑性的同时减少滞后。

Kewin的博客 2171

数据漂移问题

数据一致性校验与数据漂移是两个不同的问题,数据一致性是对比源端和目标端在数据量上的一致性,数据漂移则是根据ODS表分区字段取什么值的问题,后者在一定程度上会影响到前者。

qq_35489770的博客 2290

STM32 DMA串口重定向printf:高效调试与性能优化实战

本文详细介绍了STM32 DMA串口重定向printf的实现方法与性能优势。通过对比传统方式的CPU高占用问题,阐述了DMA技术如何实现高效数据传输,大幅降低CPU负载。文章包含完整的代码实现、缓冲区管理技巧及实战调试方案,帮助开发者优化嵌入式系统调试效率。

lake5的博客 99

机器学习:数据分布的漂移问题及应对方案

首先,让我们从一位高管告诉我的一个故事开始,很多读者可能对此感同身受。大约两年前,他的公司聘请了一家咨询公司开发一个机器学习模型,帮助他们预测下周每种食品杂货需要多少,以便他们可以相应地补货。这家咨询公司花了六个月的时间来开发这个模型。当咨询公司将模型交给他时,他的公司就部署了它,并对其表现非常满意。他们终于可以向投资者夸耀他们是一家人工智能公司了。然而,一年后,他们的数字下降了。一些商品的需求一直被高估,导致多余的商品过期。与此同时,一些商品的需求一直被低估,导致销售额下降。

新缸中之脑 5677

Numpy快速入门(np)!看这一篇就够了

Numpy快速入门(np)!看这一篇就够了

weixin_74009895的博客 2681

【100%通过率】华为od机试C卷【小朋友来自多少小区】JS 实现

幼儿园组织活动,老师布置了一个任务:每个小朋友去了解与自己同一个小区的小朋友还有几个.我们将这些数量汇总到数组 garden 中。请根据这些小朋友给出的信息,计算班级小朋友至少来自几个小区?

MISAYAONE的博客 2008

数据倾斜、数据漂移及hiveSQL优化

假如要从一张stg层表中将json字符串解析成对相应的字符串,假设有10个字段,那么get_json_object()方法相当于一条记录使用 10 次函数,而 json_tuple()方法只是使用了一次,进行了批量解析,这种方式明显更高(脑补下 JVM 的知识点)。针对以上方案,如果既需要满足本需求,又有利于数仓建设的话,推荐方案一,如果是敏捷开发,满足此需求的话推荐方案三,对于数据集市建设,如果没必要细致到用户到城市维度的话,建议方案二,三种方案各有利弊,具体选择需要根据实际情况定夺。

肖肖的博客 2161

基于STM32的智能快递柜设计(全部资料)

本文设计了一种基于STM32F407ZGT6的智能快递柜系统,通过模块化硬件设计和软件算法优化,实现了24小时无人值守、温湿度智能调控、远程监控等功能。系统集成OLED显示、GSM通信、舵机控制、超声波检测等模块,存取响应时间≤3秒,识别准确率达99.2%,较传统模式效率提升60%。测试表明系统运行稳定,用户满意度达92%,具有成本低、安全性高、可扩展性强等特点,为智慧物流末端配送提供了创新解决方案。未来可引入AI算法、太阳能供电等功能进一步优化系统性能。

3254968421的博客 594

解析机器学习中的数据漂移问题

MLOps是构建机器学习模型并将其部署到生产环境中的一个组成部分。数据漂移可以属于MLOps中模型监控的范畴。它指的是量化观察数据相对于训练数据的变化,这些变化随着时间的推移,会对模型的预测质量产生巨大的影响,而且往往是更糟的影响。跟踪与训练特征和预测有关的漂移指标应该是模型监测和识别模型何时应该重新训练的重要组成部分。可以参考作者的另一篇文章(,了解在生产环境中监控ML模型相关概念和架构的更多细节。你可能不想监测与你的模型预测或模型特征相关的漂移,比如当你在进行模型预测的基础上定期重新训练模型。

2401_85373691的博客 1505

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

数据集的两种漂移

首先,我们回顾一下有监督机器学习的任务。我们可以将其抽象为:从输入X∈XX∈X预测输出Y∈YY∈Y。二者的联合分布PYXP(Y,X)PYXPY∣XPXP(Y|X)P(X)PY∣XPX。其中PXP(X)PX是通常意义下的输入的分布,PY∣XP(Y|X)PY∣X可以看作是机器学习模型需要学习的映射关系,PYXP(Y,X)PYX是最终的 target。

frank_haha的博客 1226

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

模型漂移(Model Drift)介绍、概念漂移(Concept Drift)、数据漂移(Data Drift)

模型漂移,也称为概念漂移(Concept Drift),指的是机器学习模型在部署后,随着时间推移,其预测性能逐渐下降的现象。简单来说,就是模型在训练时表现良好,但在实际应用过程中,面对新数据时表现越来越差。为什么会这样?因为在现实世界中,数据分布不是静态的,而是不断变化的。当模型所依赖的数据分布发生变化,而模型本身没有相应更新时,模型漂移就产生了。模型漂移不是机器学习系统的一个bug,而是现实世界动态本质的必然结果。一个健壮的AI系统不是不会遇到漂移问题,而是具备检测和适应漂移的能力。

Dontla的博客 1821

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

数据漂移

概念 数据漂移是 ODS 数据的一个顽疾,通常是指 ODS 表的同一个业务日期数据中包含前一天凌晨附近的数据或者丢失当天的变更数据。 案例 落地到ODS的数据需要按日切分,但是有很多时间戳字段,以哪个为准好呢? 通常,时间戳字段分为四类: 数据库表中用来标识数据记录更新时间的时间戳字段(假设这类字段叫 modified time )。 数据库日志中用来标识数据记录更新时间的时间戳字段·(假设这类宇段叫 log_time)。 数据库表中用来记录具体业务过程发生时间的时间戳字段 (假设这类字段叫 proc_ti

鸭梨的博客 2134

一文介绍数据和模型漂移(Drift):漂移检测示例

大家好,漂移(Drift)是机器学习中用来描述模型在生产环境中随着时间推移而性能逐步下降的现象,由很多原因引起,主要原因是随着时间推移输入数据(x)分布的变化和期望目标(y)之间的关系发生了变化。在使用机器学习模型时,漂移是一个很大的挑战,因为数据通常是动态的,不断变化的。机器学习模型是基于过去的数据进行学习的,但在实际使用时,由于环境的变化,这些模型可能会渐渐失去准确性,就像是“过气”一样,这种现象被称为“漂移”。数据漂移可以被看作是导致模型漂移的原因之一,而模型漂移则是由数据漂移的影响而产生的结果。

csdn1561168266的博客 7531

左耳听风-Equifax信息泄露始末

左耳听风-Equifax信息泄露始末 01 | 导读 1)作者以美国征信公司Equifax数据泄露的始末和影响,点出了信息安全的重要性。 2)Equifax公司的主营业务是为多个国家的客户提供公民信息,掌握了多个国家公民的信用档案。 3)Equifax公司缺乏对信息安全的重视,未及时修复漏洞,导致大规模数据泄露事件。 02 | Equifax信息泄露相关 1、Equifax的系统被黑客利用Struts2中的漏洞进行攻击,盗取了大量的用户征信信息,影响巨大。 2、发生数据泄露事件后,Equifax的市值

z_z_z_666666的博客 1158

原创|物联网时代下的个人信息安全难题及解决方案, 从零基础到精通,收藏这篇就够了!

在当今的物联网时代,我们享受着万物互联带来的便捷,也面临着严峻的个人信息安全难题,亟需在科技发展与信息保护之间找到平衡点,提出有效解决问题的方案,迎接一个更加安全可靠的未来。赵俊湦 中国通信企业协会副秘书长随着科技的快速进步,5G技术在物联网的应用已逐渐成为当下社会的技术趋势,也成为支撑数字经济发展的重要手段。然而,这种技术进步也带来了相应的安全挑战。5G技术提供了更高的数据传输速度和更广泛的网络覆盖,使得更多的设备能够连接到网络。与此同时,物联网技术使得各种日常设备都能够连接到互联网,从而实现智能化。

logic1001的博客 1144

Equifax如何帮助信贷公司在竞争中“跨越式”发展

作者 | Colleen McClintock 译者 | 王鹏 校对|徐进 数字化变革+风险管理 数字化变革是当前所有银行和保险业首席执行官的首要任务:如何成为颠覆者,而不是被别人颠覆。所有信贷驱动型金融公司的压力都是巨大的,因为各个领域都不断涌现出新的市场参与者,不断让客户产生更高的期望。 风险管理 信用风险的管理和决策正在成为关键场景,这是实现数字化变革的好机会,其主要原因有两个。 首先,信用风险决策管理和合规性对盈利的影响非常大,而对流程进行渐进...

数智物语 654

数据研发基础| 什么是数据漂移

数仓ODS中发生的数据漂移现象的原因、场景和解决方案。

锵锵锵锵蒋的博客 838

数据漂移?训练集测试集分布差异?用featexp解决

数据漂移?训练集测试集分布差异?用featexp解决 数据漂移是指由于时间的变动,之前的数据集的分布与现在的数据集的分布不一致,导致之前的模型不能很好的对现在的数据进行预测的情况。简单点说就是随着时间的推移,数据分布变了,基于以前的数据训练好的模型不好用了。 目前市面上常用的解决方法: 1. 用现在的数据重新训练模型 (这个不需要解释) 2. 对抗性验证法 论文地址:https://arxiv.org/pdf/2004.03045.pdf 这个方法的好处是万一你只有少数当前时间段的数据,不足以用它来重新分割

chengyu950526的博客 2313

数据流异常检测的概念漂移现象

更新日期:2021/01/17Data drift知乎:概念漂移(concept drift)总结。

Re1aXD的博客 3741

数据同步核心问题与解决方案:增量全量、数据漂移,数据更新

摘要: 大数据时代下,数据同步面临增量与全量合并、性能优化及数据漂移三大核心问题。针对增量同步,采用增量合并全量策略,通过merge或全外连接实现高效更新;实时同步借助DSG/Canal等工具捕获日志变化,结合Kafka+Spark架构提升时效性。性能优化引入智能线程调度,基于元数据动态分配资源。数据漂移治理通过冗余时间范围或多时间戳校验(如modified_time、log_time)确保ODS层准确性,尤其在电商大促场景中需交叉验证业务时间。综合方案平衡效率与数据完整性,构建稳定同步体系。

. 1万+
上一篇: 星巴克推出Web3平台;天啦噜,AI绘画能007了;『决策算法』电子书;合成人脸数据集;面向数据的版本控制;前沿论文 | ShowMeAI资讯日报
下一篇: 求职清单!AI商业落地企业Top100;『数据科学:理论、模型、算法与分析』电子书;超快多线程DataFrame 8K★;前沿论文 | ShowMeAI资讯日报
ShowMeAI
博客等级 码龄5年 6514粉丝 672原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值