风控算法知识——浅谈信息熵与IV值应用介绍

最新推荐文章于 2025-10-17 23:28:35 发布
原创 最新推荐文章于 2025-10-17 23:28:35 发布 · 1.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了信息熵的概念及其计算方式，解释了信息熵如何衡量事件的不确定性。同时，文章深入探讨了IV值的计算方法及在风控领域的应用，强调IV值能够评估变量的预测能力。

此前我们讨论了WOE值以及应用场景，而提到了WOE值，就不得不再提出IV值,IV值公式的形成来源于信息熵，公式形式是类似的，只是具体的计算不一样。传送门：《风控算法知识——WOE值的深度理解与应用》

而什么是信息熵呢？香农(Shannon)早在1948年在他著名的《通信的数学原理》论文中指出：“信息是用来消除随机不确定性的东西”并提出信息熵的概念。熵越大表示信息的无序化程度越高，相对应的信息效用越低。

在这里插入图片描述

而信息熵是消除不确定性所需信息量的度量，即未知事件可能含有的信息量。我们用信息熵来描述一个事件混乱程度的大小（一个事件我们一定知道结果，那么这个事件的混乱程度就是0；而相反一个事件充满随机性，我们猜不到或者很难猜到结果，那么他的混乱度就很大）。

例如，小伙伴告诉我“意大利进欧洲杯了！”我就觉得“哦~我知道了。”意大利身为传统欧洲劲旅，几乎从欧洲杯开办以来就一直进入欧洲杯了，也就是说这条消息并不能给我带来很大的信息量。

在这里插入图片描述

但小伙伴跟我说：“意大利时隔53年再夺欧洲杯冠军！！！”，我就会很惊讶，因为这条消息给我的信息量很大。（类

最低0.47元/天 解锁文章
机器学习-信息价值IV概念和例题
m0_69378371的博客
04-25 2411
IV 值越高，表示特征对目标变量的预测能力越强，也就是说，该特征越有助于区分不同类别或者预测目标。首先，我们需要对信用评分进行分箱处理，然后计算每个箱中好坏客户的比例，最后根据 IV 值的公式计算 IV。好的，让我来计算一下每个分箱的 IV 贡献，然后将它们加总以得到信用评分的总 IV 值。现在，我们来计算每个箱的 IV 贡献，然后将它们加总以得到信用评分的总 IV 值。通过计算，得到每个箱的 IV 贡献，然后加总，即可得到信用评分的总 IV 值。所以，信用评分的 IV 值约为 2.384。
风控业务-特征IV值和WOE值的计算原理和区别
数据掘金
08-11 1万+
我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选，比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。挑选入模变量过程是个比较复杂的过程，需要考虑的因素很多，比如：变量的预测能力，变量之间的相关性，变量的简单性（容易生成和使用），变量的强壮性（不容易被绕过），变量在业务上的可解释性（被挑战时可以解释的通）等等。但是，其中最主要和最直接的...
机器学习特征筛选中的IV值详解：原理、应用与实现
最新发布
拒绝AI玄学，只聊真技术▲
10-17 1444
IV值作为特征筛选的经典工具，兼具直观性与实用性，尤其适用于金融风控和营销场景。然而，需注意其局限性，并结合业务知识、模型效果进行综合评估。本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！
特征选择--信息熵（information entropy）--spark实现和优化
u010990043的博客
03-25 4560
准备了很久，终于开始决定开始写关于机器学习相关的文章。深刻体会刚刚涉足一个新领域时的那种茫然和不知所措，而后在各个大神的文章帮助下渐渐走出了自己的一条路。现在想以分享设计方案的方式回馈技术社区和技术分享平台。虽然，这些不一定是最优的设计方案，希望这些技术方案对正在开发中正在迷惑的你有所帮助。 【背景】 在spark的架构中MLlib的工具库非常的全面，几...
信息熵(Information Entropy)及其在电商搜索领域中的应用
laolu1573的专栏
03-21 1450
信息熵是衡量分布的混乱程度或分散程度的一种度量。分布越分散(或者说分布越平均)，信息熵就越大。分布越有序（或者说分布越集中），信息熵就越小。 计算公式 给定的样本集X的信息熵的公式： entropy=−∑i=1Cpilog2(pi)entropy = -\sum_{i=1}^{C} p_{i} log_{2} (p_{i})entropy=−i=1∑C​pi​log2​(pi​) 参数的含义： ...
分计算iv值_IV值的计算及使用
weixin_39625747的博客
12-23 1578
在机器学习的二分类问题中，IV值（Information Value）主要用来对输入变量进行编码和预测能力评估。特征变量IV值的大小即表示该变量预测能力的强弱。IV 值的取值范围是[0, 正无穷)，如果当前分组中只包含响应客户或者未响应客户时，IV = 正无穷。量化指标含义如下：< 0.02useless for prediction、0.02 to 0.1Weak predictor、0....
机器学习决策树算法中特征选项的算法实现——信息熵
12-22
机器学习决策树算法中特征选项的算法实现——信息熵 首先我们将信息熵的定义进行阐述: 熵经验熵 我们这里以网上数据贷款申请为例:数据来自（https://blog.youkuaiyun.com/c406495762/article/details/75663451） 在...
基于智能优化算法的ICEEMDAN参数优化研究——以北方苍鹰算法NGO优化ICEEMDAN的熵值与参数确定
08-30
适合人群：具备一定信号处理基础和Matlab编程能力，从事机械故障诊断、时间序列分析或智能算法应用的科研人员与工程师。 使用场景及目标：①解决ICEEMDAN手动调参耗时、效果不稳定的问题；②实现高效、自动化的信号...
基于鲸鱼优化算法GSWOA改进VMD的分解层数与惩罚因子参数优化研究——以熵值为适应度函数的Matlab实现探讨 · VMD 宝典
07-26
首先简述了VMD和GSWOA的基本概念，接着详细介绍了GSWOA在VMD参数优化中的具体应用步骤，包括初始化参数、定义适应度函数以及执行优化算法。最后展示了实验结果并进行了讨论，证明了该方法的有效性和优越性。 适合...
MATLAB鲸鱼优化算法在VMD参数优化中的应用：基于熵值适应度函数的振动信号分解
08-28
内容概要：本文介绍了利用MATLAB实现鲸鱼优化算法（WOA）来优化变分模态分解（VMD）参数的方法。主要解决了VMD中两个关键参数——惩罚因子α和分解层数K的优化问题。通过引入包络熵作为适应度函数，提高了信号分解的...
相对熵与IV、PSI的关系
lc434699300的博客
12-23 912
最近在读《Python金融大数据风控建模实战》这本书，读的过程中发现很多有意思的地方，所以准备最近对这本书中的一些理论知识做一些记录，将一个个知识点串起来，也加深一下自己对模型的理解。 目录 相对熵(K-L散度) 相对熵与IV的关系 相对熵与PSI的关系 参考资料 一、相对熵 概率是表征随机变量确定性的度量，而信息是随机变量不确定性的度量，熵就是不确定性度量的平均值，即为信息的平均值。熵有很多种类型，比如信息熵、条件熵...
Python计算IV值的示例讲解
09-17
今天小编就为大家分享一篇Python计算IV值的示例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
3分钟搞明白信用评分卡模型&模型验证
weixin_34290000的博客
02-04 1744
信用评分卡模型在国外是一种成熟的预测方法，尤其在信用风险评估以及金融风险控制领域更是得到了比较广泛的使用，其原理是将模型变量WOE编码方式离散化之后运用logistic回归模型进行的一种二分类变量的广义线性模型。  本文重点介绍模型变量WOE以及IV原理，为表述方便，本文将模型目标标量为1记为违约用户，对于目标变量为0记为正常用户；则WOE(weight of Evidence)其实就是自变量取某...
IV值
热门推荐
lingan_Hong的博客
08-30 2万+
评分模型开发主要分为变量处理、模型建立、评分转换、模型评估4个步骤。 其中在变量处理的时候涉及IV值和WOE值的计算。 基于抽样后得到训练样本集数据，由于变量数量通常较多，不推荐直接采用逐步回归的方法进行筛选。 由于各个变量的量纲和取值区间存在很大的差别，通常会对变量的取值进行分箱并计算 证据权重 WOE值(weight of evidence) ，从而降低变量属性的个数，并且平滑的变量的...
iv值
weixin_30664615的博客
07-04 131
https://blog.youkuaiyun.com/lingan_Hong/article/details/77718123 https://blog.youkuaiyun.com/goodhuajun/article/details/39582761 https://blog.youkuaiyun.com/kevin7658/article/details/50780391 转载于:https://www.cnblogs....
IV（Information Value）值
彬彬侠的博客
01-02 2714
IV（Information Value） 是一种衡量单个特征（通常已分箱处理）对目标变量（如违约=1，未违约=0）区分度的指标，在金融风控和评分卡建模中被广泛应用。通过 IV 值可以迅速判断某个特征对好坏样本的区分能力是强还是弱，从而辅助特征筛选与模型构建。
IV (information value)信息价值
凝眸伏笔的博客
12-06 3403
IV 全拼 information value， 即信息价值，是衡量特征对于模型预测能力的指标，常用于入模训练前的特征筛选的参考依据。IV 可由 WOE 计算得到:整个特征的 IV 值则为每段 IV 值之和，可得:当特征的 IV 值越大，该特征的信息价值就越大，对于判断客户好坏的贡献越大，这样的特征越适合入模。我们通常以 IV 来作为判断特征对于模型的预测能力的指标，因为 WOE 有正负值，而 IV 只会是正值。最重要的是，WOE 值没有体现出当前分段的个体数在总体数量中的比例，举个例子，若某个分段的 WO
IV、WOE和信息增益、基尼不纯度比较
小白白的博客
06-11 6612
IV、WOE和信息增益、基尼不纯度比较
分计算iv值_数据分析变量选择--IV值计算
weixin_39782433的博客
12-23 696
在进行数据分析和机器学习之前，我们通常的做法，需要选择变量，但在实际业务场景中，变量的个数有可能很多，其中包含连续变量和非连续变量(离散变量)，同时也需要将这些自变量和因变量的关联程度在进行分析前，做个初步的了解。1.为什么需要将连续变量调整为离散变量？在机器学习过程中，经常会将连续变量离散化，主要是基于以下的考虑：(1)离散特征的增加和减少都很容易，易于模型的快速迭代；(2)稀疏向量内积乘法运算...
信息熵与熵值法在分配模型中的应用研究
资源摘要信息:"信息熵是衡量信息量的度量标准，主要用于信息理论中。熵越大，表示信息的不确定性越大，信息量也越大。在信息处理和数据挖掘领域，信息熵被广泛应用。 熵权值和熵值法是基于信息熵的概念发展而来的一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值