基尼不纯度简介 - Gini Impurity

最新推荐文章于 2024-10-30 20:18:31 发布
转载 最新推荐文章于 2024-10-30 20:18:31 发布 · 547 阅读 · 0

博客仅提供了一个链接https://www.cnblogs.com/jointech/p/12970187.html ，未包含其他关键信息。
Gini Impurity（基尼不纯度）
05-15 319
基尼不纯度：衡量集合的无序程度，有放回抽样两次，两次样本标签不同的概率。
机器学习基础（五十）—— Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））
hftytf的博客
01-30 650
机器学习基础（五十）—— Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））
决策树
touchmybody的专栏
03-16 1401
决策树是一种简单的机器学习方法。决策树经过训练之后，看起来像是以树状形式排列的一系列if-then语句。一旦我们有了决策树，只要沿着树的路径一直向下，正确回答每一个问题，最终就会得到答案。沿着最终的叶节点向上回溯，就会得到一个有关最终分类结果的推理过程。 决策树： 1 2 3 4 5 6 7 class 
小孩都看得懂的基尼不纯度
weixin_38753422的博客
03-09 3092
全文共1343字，16幅图，预计阅读时间8分钟。本文是「小孩都看得懂」系列的第十一篇，本系列的特点是极少公式，没有代码，只有图画，只有故事。内容不长，碎片时间完全可以看完，但我背...
基尼不纯度(随机森林)
baidu_32542573的博客
06-10 6630
基尼不纯度：从一个数据集中随机选取子项，度量其被错误的划分到其他组里的概率。(书上解释) 一个随机事件变成它的对立事件的概率（简单理解） 计算公式:(fi为某概率事件发生的概率) 下图是相关曲线图，可以参考数据挖掘导论的98页： 从上图可以看出，基尼系数和熵之半的曲线非常接近，仅仅在45度角附近误差稍大。因此，基尼系数可以做为熵模型的一个近似替代。 讲解案例： 一个随...
机器学习中的两个概念： 信息熵 和基尼不纯度
anya0204的博客
07-29 895
1、信息熵： 一个随机变量 X 可以代表n个随机事件，对应的随机变为X=xi, 那么熵的定义就是 X的加权信息量。 H(x) = p(x1)I(x1)+...+p(xn)I(x1) = p(x1)log2(1/p(x1)) +.....+p(xn)log2(1/p(xn)) = -p(x1)log2(p(x1)) - ........-p...
基尼指数（Gini Impurity）的理解和计算
GGG信的博客
10-30 1149
我们可以看到，GoodBloodCircle的基尼指数是最小的，也就是最不容易犯错误，因此我们应该把这个节点作为决策树的根节点。在机器学习中，CART分类树算法使用基尼指数来代替信息增益比，基尼指数代表了模型的不纯度，基尼指数越小，不纯度越低，特征越好。Positive的gini：p*(1-p)+q*(1-q) = 0.729*(1-0.729) + 0.270 * (1-0.270) = 0.394 因为p+q=1，即p^2+q^2。，也就是说集合的纯度越高，反之，集合越不纯。
决策树(Classification and Regression Trees, CART)part3分类准确程度的衡量-基尼系数(Gini index/Gini Impurity)/信息熵与分类
优快云XXCQ的博客
02-26 1374
就是经济学上的基尼系数的那个概念 以下部分内容引自百度百科 基尼系数（英文：Gini index、Gini Coefficient）是指国际上通用的、用以衡量一个国家或地区居民收入差距的常用指标。 基尼系数最大为“1”，最小等于“0”。基尼系数越接近0表明收入分配越是趋向平等。国际惯例把0.2以下视为收入绝对平均，0.2-0.3视为收入比较平均；0.3-0.4视为收入相对合理；0.4-0.5视为收入差距较大，当基尼系数达到0.5以上时，则表示收入悬殊。 基尼指数最早由意大利统计与社会学家Corrado Gi
决策树，采用基尼不纯度算法.zip
04-25
基尼不纯度（Gini Impurity）是评估分类纯度的一种方式，它基于概率熵的概念。对于一个包含n类别的样本集，如果所有样本都属于同一类别，那么基尼指数为0，表示完全纯净；反之，如果各类别分布均匀，基尼指数最大，...
机器学习笔记：特征处理——相关性分析GINI impurity
laowuzhuanyong的博客
05-27 1045
做相关性分析的方法有很多，这里分享几个相关性分析。 1、GINI系数 公式：（网上贴的） G=i=1∑C​p(i)∗[1−p(i)] 什么是基尼系数呢，其实就是P(Y|X)的一种变形，用人话就是说，利用多个标签，是否能区分模型，也就是相关度。 引入示例加深理解 X Y 有钱 老板 有钱 傻逼 没钱 老板 没钱 傻逼 没钱 傻逼 如果他有钱的情况下，他是老板的概率为0.5， 他没钱的情况下，他是老板的概率为0.33（三分之一） 所以他的GINI系数为
[翻译转载] 基尼杂质(Gini Impurity)的简单介绍
zhang994125301的博客
04-19 3404
Gini Impurity——基尼杂质是什么，怎样应用于决策树Decision Tree 决策树Gini Impurity 基尼杂质/基尼不纯度/基尼系数例1: 整个数据范例公式化例2 完美划分方案例3 不完美划分方案选择最佳划分方案总结 本文翻译自Victor Zhou @victorczhou 的A Simple Explanation of Gini Impurity Decision T...
gini impurity的相关内容
qq_42867453的博客
02-05 245
gini impurity 基尼杂质 公式： G(y)=1−∑1≤i≤n(p(i))2 G(y) =1-\sum_{\mathclap{1\le i\le n}} \def \foo {(p_{(i)})^2} \foo G(y)=1−1≤i≤n​∑​(p(i)​)2 n : 分为几类class p(i) ：第 i 类占样本总数的比例 gini impurity会随data的分布不均先增后减 例如：有两类数据A、B，数据总数14 A:0 B:14 G = 0 A:1 B:13 G = 0.13..
Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））
u014765410的博客
02-19 990
Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））
数据挖掘与分析：完成决策树指标计算，读取数据集，分别计算每一列的信息增益、信息增益比以及gini不纯度
qq_66187467的博客
04-19 687
上述代码片段中计算Gini不纯度是针对整个数据集而并非单个特征的每个值，如果要为每个特征的每个唯一值计算Gini不纯度，需要修改上面的gini_impurities字典推导式。另外，由于数据集的不确定性，代码需要随时根据具体情况进行调整。为了完成如题所述要求，我们需要编写一些代码来加载数据，然后实现计算信息增益、信息增益比和Gini不纯度的函数。而计算这些指标通常涉及决策树算法的内部逻辑，scikit-learn库提供了决策树实现，但并未直接提供计算这些指标的函数。因此，我们需要自己编写这些计算逻辑。
集体编程智慧（决策树）-Gini Impurity 公式推导
duanluyun的博客
08-25 801
集体编程智慧（决策树）-Gini Impurity 公式推导
洛伦兹曲线 基尼系数 和基尼不纯度 讲的非常好 非常清楚
studyvcmfc的专栏
08-14 496
https://zhuanlan.zhihu.com/p/76667156
IV、WOE和信息增益、基尼不纯度比较
小白白的博客
06-11 6588
IV、WOE和信息增益、基尼不纯度比较
决策树中基尼不纯度初步理解
热门推荐
JJBOOM425的博客
04-23 1万+
基尼不纯度
基尼不纯度公式
最新发布
05-05
### 基尼不纯度的计算公式 基尼不纯度（Gini Impurity）是决策树算法中常用的分裂准则之一，用于评估数据集的混乱程度。它的核心思想是测量一个随机选中的样本被错误标记的概率。对于具有 \( C \) 类别的数据集，基尼不纯度的计算公式如下： \[ G = 1 - \sum_{i=1}^{C} p_i^2 \] 其中： - \( G \) 表示基尼不纯度； - \( p_i \) 是第 \( i \) 类别在当前节点所占的比例。 如果某个类别比例较大，则该节点的基尼不纯度会较低；反之，当各类别分布均匀时，基尼不纯度达到最大值[^1]。 #### 加权基尼不纯度 在实际应用中，特别是在构建决策树的过程中，需要考虑不同子节点的影响。此时可以通过加权方式综合各子节点的基尼不纯度。假设某父节点分为两个子节点，分别包含 \( N_1 \) 和 \( N_2 \) 条记录，则整体基尼不纯度可表示为： \[ G_{\text{total}} = \frac{N_1}{N} G_1 + \frac{N_2}{N} G_2 \] 这里 \( N = N_1 + N_2 \)，\( G_1 \) 和 \( G_2 \) 分别对应两子节点的基尼不纯度[^3]。 #### 示例代码实现 以下是基于 Python 的简单实现，展示如何计算单个节点以及整个分裂后的加权基尼不纯度： ```python def gini_impurity(labels): from collections import Counter count = Counter(labels) total = len(labels) impurity = 1 for label in count: prob = count[label] / total impurity -= prob ** 2 return impurity # 测试数据 labels_node1 = ['A', 'A', 'B'] labels_node2 = ['B', 'B', 'B'] gini_node1 = gini_impurity(labels_node1) gini_node2 = gini_impurity(labels_node2) weighted_gini = (len(labels_node1) * gini_node1 + len(labels_node2) * gini_node2) / (len(labels_node1) + len(labels_node2)) print(f"Gini Node 1: {gini_node1}") print(f"Gini Node 2: {gini_node2}") print(f"Weighted Gini: {weighted_gini}") ``` 此代码片段展示了如何针对具体的数据标签列表计算基尼不纯度及其加权形式[^4]。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值