机器学习基础（五十）—— Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））

最新推荐文章于 2024-08-15 14:40:15 发布
原创 最新推荐文章于 2024-08-15 14:40:15 发布 · 652 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

                       
 

基尼不纯度/香浓熵：衡量集合的无序程度；

基尼不纯度

基尼不纯度：将来自集合的某种结果随机应用于某一数据项的预期误差率。

I G (f
最低0.47元/天 解锁文章
一、机器学习算法与实践_04信息论与决策树算法笔记
LC的博客
09-24 1109
信息论是运用概率论与数理统计的方法，去研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科，熵（Entropy）是信息论中的一个重要概念，由克劳德·香农（Claude Shannon）提出，用于衡量信息的不确定性或系统的混乱程度在机器学习中，熵的概念被用来评估数据集的不纯度，进而指导决策树等算法的构建决策树是一种非常流行和好用的监督式学习算法，用于分类和回归任务，它通过从数据中学习决策规则来预测目标变量的值节点：代表一个特征或属性（分为根节点和子节点）分支。
机器学习初级算法梳理三
weixin_40930842的博客
04-04 760
机器学习初级算法梳理三任务三：决策树算法梳理一、信息论基础1.1 信息熵（Information Entropy）1.2 联合熵（Joint entropy）1.3 条件熵（Conditional entropy）1.3 相对熵（Relative entropy）1.4 交叉熵（Cross entropy）1.5 信息增益（Cross entropy）1.6 基尼不纯度（Gini purity）二...
机器学习笔记：特征处理——相关性分析GINI impurity
laowuzhuanyong的博客
05-27 1046
做相关性分析的方法有很多，这里分享几个相关性分析。 1、GINI系数 公式：（网上贴的） G=i=1∑C​p(i)∗[1−p(i)] 什么是基尼系数呢，其实就是P(Y|X)的一种变形，用人话就是说，利用多个标签，是否能区分模型，也就是相关度。 引入示例加深理解 X Y 有钱 老板 有钱 傻逼 没钱 老板 没钱 傻逼 没钱 傻逼 如果他有钱的情况下，他是老板的概率为0.5， 他没钱的情况下，他是老板的概率为0.33（三分之一） 所以他的GINI系数为
Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））
u014765410的博客
02-19 990
Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））
gini impurity的相关内容
qq_42867453的博客
02-05 246
gini impurity 基尼杂质 公式： G(y)=1−∑1≤i≤n(p(i))2 G(y) =1-\sum_{\mathclap{1\le i\le n}} \def \foo {(p_{(i)})^2} \foo G(y)=1−1≤i≤n​∑​(p(i)​)2 n : 分为几类class p(i) ：第 i 类占样本总数的比例 gini impurity会随data的分布不均先增后减 例如：有两类数据A、B，数据总数14 A:0 B:14 G = 0 A:1 B:13 G = 0.13..
基尼不纯度简介 - Gini Impurity
studyvcmfc的专栏
06-21 549
https://www.cnblogs.com/jointech/p/12970187.html
[翻译转载] 基尼杂质(Gini Impurity)的简单介绍
zhang994125301的博客
04-19 3405
Gini Impurity——基尼杂质是什么，怎样应用于决策树Decision Tree 决策树Gini Impurity 基尼杂质/基尼不纯度/基尼系数例1: 整个数据范例公式化例2 完美划分方案例3 不完美划分方案选择最佳划分方案总结 本文翻译自Victor Zhou @victorczhou 的A Simple Explanation of Gini Impurity Decision T...
【CART模型数学基础】信息增益概念：熵与信息的数学表征
在数据科学和机器学习领域，信息增益是一个核心概念，它衡量了某特征对数据集分类能力提升的贡献度。信息增益的概念源自于信息论中的熵的概念，是决策树分类算法中重要的决策依据。从本质上讲，信息增益反映了通过...
决策树算法详解与Python实现
相比之下，CART（Classification and Regression Tree）算法采用基尼不纯度（Gini Impurity）作为分裂准则，其定义为Gini(D) = 1 - Σ(pk)^2，pk为第k类样本在当前节点中的比例。基尼不纯度反映的是从数据集中随机...
集体编程智慧（决策树）-Gini Impurity 公式推导
duanluyun的博客
08-25 802
集体编程智慧（决策树）-Gini Impurity 公式推导
一段求解基尼系数的matlab代码
10-31
一段关于基尼系数的求解代码在matlab中运行 一段关于基尼系数的求解代码在matlab中运行
决策树
touchmybody的专栏
03-16 1403
决策树是一种简单的机器学习方法。决策树经过训练之后，看起来像是以树状形式排列的一系列if-then语句。一旦我们有了决策树，只要沿着树的路径一直向下，正确回答每一个问题，最终就会得到答案。沿着最终的叶节点向上回溯，就会得到一个有关最终分类结果的推理过程。 决策树： 1 2 3 4 5 6 7 class 
基尼不纯度示例代码
studyvcmfc的专栏
08-14 244
https://baike.baidu.com/item/%E5%9F%BA%E5%B0%BC%E4%B8%8D%E7%BA%AF%E5%BA%A6/22046808?fr=aladdin
基尼指数（Gini Impurity）的理解和计算
热门推荐
weixin_41855010的博客
11-29 5万+
一、基尼指数的概念 基尼指数（Gini不纯度）表示在样本集合中一个随机选中的样本被分错的概率。 注意：Gini指数越小表示集合中被选中的样本被参错的概率越小，也就是说集合的纯度越高，反之，集合越不纯。当集合中所有样本为一个类时，基尼指数为0. 二、基尼系数的计算公式 基尼指数的计算公式为： 三、计算示例 我们分别来计算一下决策树中各个节点基尼系数： 以下excel表格记录了Gini系数的计算过程。 我们可以看到，GoodBloodCircle的基尼系数是最小的，也就是最不容易犯错误，因此我们应该把这个
机器学习——决策树
红叶谷 wsp_1138886114的博客
06-02 1692
一、决策树 从数据集中构造一颗决策树 决策树构造过程： 选择不同属性对决策树进行分裂（生长），让叶子节点中更纯 属性分裂-影响 属性类型： 属性字段类型： Norminal（类别型） Ordinal（有序型） Continiuous（连续型） 分叉数量： ...
基尼指数详细解释
Ethan_Rich的博客
08-15 4039
基尼指数量化了一个节点中样本的不纯度。具体来说，它计算了从该节点中随机抽取两个样本，它们属于不同类别的概率。基尼指数越低，表示节点的纯度越高。
机器学习中基尼系数和基尼不纯度有区别吗
最新发布
06-20
### 机器学习中基尼系数与基尼不纯度的区别 在机器学习领域，特别是在决策树算法中，基尼系数（Gini Coefficient）和基尼不纯度（Gini Impurity）是两个密切相关的概念。尽管它们的名称相似，但它们在定义、用途和计算方式上存在一些关键差异。 #### 基尼系数 基尼系数是一个统计学指标，用于衡量数据集中类别的分布不均衡性或不平等程度。它通常被用来评估社会经济中的收入分配不平等，但在机器学习中也用于衡量数据集的混乱程度[^1]。 - **定义**：基尼系数越小，说明数据集越“纯”，即类别分布越均匀。 - **计算公式**：对于一个包含 $k$ 个类别的数据集，其基尼系数可以表示为： \[ G = 1 - \sum_{i=1}^{k} p_i^2 \] 其中，$p_i$ 是第 $i$ 类别的概率。 - **特点**：基尼系数主要用于描述整体数据集的混乱程度，而不直接参与特征选择或节点划分。 #### 基尼不纯度 基尼不纯度是决策树算法中的一种分裂标准，用于衡量数据集的不纯度或混乱程度。它是基尼系数的一个具体应用形式，广泛用于 CART（Classification and Regression Tree）算法中[^2]。 - **定义**：基尼不纯度越小，数据集越纯，分割的效果越好。 - **计算公式**：与基尼系数相同，基尼不纯度的计算公式为： \[ G = 1 - \sum_{i=1}^{k} p_i^2 \] 不同的是，基尼不纯度更关注如何通过特征分割来降低数据集的不纯度。 - **特点**：基尼不纯度直接参与决策树的构建过程，用于选择最佳特征和最佳分割点。 #### 区别总结 | 特性 | 基尼系数 | 基尼不纯度 | |--------------------|----------------------------------|--------------------------------| | **定义** | 衡量数据集的整体混乱程度 | 衡量数据集的不纯度 | | **用途** | 统计学中评估不平等程度 | 决策树中选择最佳特征分割 | | **计算公式** | 相同 | 相同 | | **应用场景** | 社会经济分析、机器学习评估 | 决策树算法中的特征选择 | #### 示例代码 以下是一个计算基尼不纯度的 Python 实现示例： ```python import numpy as np def gini_impurity(labels): """计算给定标签列表的基尼不纯度""" if len(labels) == 0: return 0 _, counts = np.unique(labels, return_counts=True) probabilities = counts / counts.sum() gini = 1 - np.sum(probabilities ** 2) return gini # 示例数据集 labels = np.array([1, 2, 2, 3, 3, 3, 4, 4, 4, 4]) gini = gini_impurity(labels) print(f"基尼不纯度: {gini:.4f}") ``` #### 结论 基尼系数和基尼不纯度虽然计算方式相同，但在实际应用中有着不同的侧重点。基尼系数更多地用于评估数据集的整体混乱程度，而基尼不纯度则直接服务于决策树的构建过程，帮助选择最优的特征和分割点[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值