[阅读笔记]《统计学习方法》李航著：Chp5 决策树

最新推荐文章于 2022-10-19 17:41:19 发布
原创 最新推荐文章于 2022-10-19 17:41:19 发布 · 247 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#统计学习方法 #李航 #机器学习 #决策树 #计算机

[阅读笔记]《统计学习方法》李航著：Chp5 决策树

本章概要

本章概要1
本章概要2
本章概要3

5.1 决策树模型与学习

  • 损失函数：正则化的极大似然函数，策略：最小化损失函数
  • 树的生成停止条件：
    1. 所有训练数据子集都被基本正确分类
    2. 没有合适的特征
  • 可能产生过拟合现象因此需要剪枝
  • 决策树的生成考虑局部最优，剪枝则考虑全局最优

5.2 特征选择

  • Why：特征数量很多，通过选择留下对训练数据有足够分类能力的特征
  • How/准则：信息增益、信息增益比

5.3 决策树的生成

  • ID3：信息增益，只有树的生成易过拟合
  • C4.5：信息增益比

5.4 决策树的剪枝

  • 可以在局部进行，因此可以用动态规划算法实现

5.5 CART算法

  • 假设决策树为二叉树
  • 生成：生成的树尽可能大；回归树-平方误差最小化；分类树-基尼指数最小化
  • 剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，准则——损失函数最小
统计学习方法-李航-第五章-决策树
熊熊小姐的博客
05-12 237
第五章 决策树 决策树是一种基本的分类与回归方法。 决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。 预测时，对新的数据，利用决策树模型进行分类。 三个步骤：特征选择、决策树生成和决策树修剪。 1.决策树模型 2.决策树与if-then规则 3.决策树与条件概率分布 4.决策树学习 5.特征选择问题 有用特征 无用特征 冗余特征 特征选择在于选取对训练数据具有分类能力的特征。 6.信息增益 6. ID3算法 ID3算法的核心是在决策树各个结点上应用信息增益准则选择特征，递
统计学习方法-第五章
U201410691的博客
03-14 858
统计学习第四章-决策树决策树决策树的条件概率分布特征选择1.信息熵2.条件熵(Conditional Entropy)与信息增益（Information Gain）3.信息增益做特征选择的优缺点4.信息增益比(Infomation Gain Ratio)5.Gini系数决策树生成ID3算法C4.5算法决策树的减枝CART算法回归树的生成分类树的生成 决策树 决策树是一种常见的if-then规则的集...
统计学习方法-李航（第5章 决策树笔记)
yeal
01-04 3496
统计学习方法-李航（第5章 决策树笔记)
李航统计学习方法-决策树
JohnBanana的专栏
04-22 1969
决策树 决策树（decision tree）是一种基本的分类与回归方法。本章主要讨论用于分类的决 策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它 可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分 布。其主要优点是模型具有可读性，分类...
【统计学习方法-李航-笔记总结】五、决策树
zl3090的博客
10-11 722
本文是李航老师《统计学习方法》第五章的笔记，欢迎大佬巨佬们交流。 主要参考博客： https://blog.youkuaiyun.com/u014248127/article/details/78971875 https://www.cnblogs.com/YongSun/p/4767085.html 主要内容包括： 1. 决策树模型与学习 2. 特征选择 3. 决策树的生成 4. 决策树的剪...
[阅读笔记]《统计学习方法》李航著：Chp1 统计学习方法概论
qq_31895943的博客
04-17 294
机器学习两本中文必备书籍之一，强推阅读。本文仅记录笔者个人的一些阅读笔记及理解。 阅读时，建议可以先浏览章节最后的本章概要，对本章节的核心内容及讲述的逻辑关系有个大致的了解，再进入详读。 本章概要部分节选 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析与预测的一门学科。统计学习包括监督学习、非监督学习、半监督学习和强化学习。 统计...
《统计学习方法》李航著：Python代码实现与课件资源
1. 书籍信息：文件提到的书籍是《统计学习方法》，由李航撰写。这是一本系统介绍统计学习方法的书籍，特别着重于监督学习方法。李航作为作者，在统计学习领域拥有一定的影响力，他的书籍成为了相关专业人士和学者的...
《统计学习方法-李航》200页PDF手推公式细节讲解，包含详细的目录以及R语言代码实现，可结合
09-22
《统计学习方法-李航》是一本专注于统计学习领域的专业书籍，由李航所著。此书被广泛应用于机器学习、数据挖掘、模式识别等多个领域，是学习统计学习理论与方法的重要参考资料。华为杯则是指与华为公司相关的一系列...
李航老师《统计学习方法》第2版课件：第5章 决策树.rar
03-10
通过李航老师的《统计学习方法》第5章，你可以系统地学习决策树的理论基础，理解其工作原理，以及如何在实际问题中应用和优化决策树模型。同时，配套的课件PPTX文件将为学习提供可视化支持，帮助更好地理解和掌握...
统计学习方法.李航 (1).pdf
最新发布
04-04
李航教授所著的《统计学习方法》是机器学习领域中一本极具价值的教材，旨在向读者介绍统计学习的基本概念、核心算法以及理论推导，帮助读者深入理解并掌握统计学习的内在机理。 书中详细阐述了多种经典的统计学习...
[阅读笔记]《统计学习方法》李航著：Chp3 k近邻
qq_31895943的博客
04-18 250
[阅读笔记]《统计学习方法》李航著：Chp3 k近邻 本章概要 5. k近邻法不具有显式的学习过程 3.1 k近邻算法 多数表决 3.2 k近邻模型 k近邻使用的模型实际上对应于对特征空的划分 距离度量：欧式距离、LpLpL_p距离、Minkowski距离 k值选择：k减小->模型复杂性增加->容易过拟合；k值一般取较小的数值，通常采用交叉验证法来选取最优k值...
统计学习方法决策树
一枝韩独秀的博客
12-19 4629
决策树（decision tree） 是一种基本的分类与回归方法。决策树模型呈树形结构， 在分类问题中， 表示基于特征对实例进行分类的过程。 它可以认为是if-then规则的集合， 也可以认为是定义在特征空间与类空间上的条件概率分布。 其主要优点是模型具有可读性， 分类速度快。 学习时， 利用训练数据， 根据损失函数最小化的原则建立决策树模型。 预测时， 对新的数据， 利用决策树模型进行分类。 决...
文末送书 | 李航老师新作！机器学习经典著作《统计学习方法》全新升级
Paper weekly
06-20 1333
李航 著清华大学出版社2022-04-01ISBN: 9787302597308定价: 138.00 元新书推荐????今日福利｜关于本书｜本书在《统计学习方法》的基础上增加了深度学习的内容，全面系统地介绍了机器学习的主要方法，系统阐述其理论、模型、策略和算法，是机器学习及相关课程的教学参考书，也供计算机各个领域的专业研发人员参考。机器学习是以概率论、统计学、信息论、最优化...
李航 统计学习方法 课后习题答案 第二版
weixin_43646592的博客
10-19 4639
【李航课后习题解答+书中疑点推导+算法代码实现+可私聊耐心解答(48小时内回复)，包会！！】欢迎订阅！！！
李航老师《统计学习方法》第二版第二章答案
qq_41626059的博客
04-07 4174
1、Minsky与Papert指出：感知机因为是线性模型，所以不能表达复杂的函数，比如异或（XOR）。验证感知机为什么不能表示异或。 解： 下面是异或的运算结果： 异或： 如果两个值相同则异或操作的结果是0，如果不相同则为1 由此我们可以看到，这也是一个二分类的问题，异或的运算如表所示 XOR a b a 0 1 b 1 0 如果我们去a = 0, b = 1,将上表的结果画在二维平面，如下图。 我们可以看到，对于蓝色的圆点和橙色的星星，无论我们怎么画直线，都不可能将两者分开。也就
李航老师《统计学习方法》第二版第一章答案详解
qq_41626059的博客
04-05 5340
1、说明伯努利模型的极大似然估计和以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。 解： 模型三要素是： 模型 策略 算法 极大似然估计 概率模型 经验风险最小化 数值解 贝叶斯估计 概率模型 结构风险最小化 解析解 设x1,x2,...,xnx_{1}, x_{2},..., x_{n}x1​,x2​,...,xn​为
李航老师《统计学习方法》第二版第十七章潜在语义分析课后题答案
qq_41626059的博客
05-22 1982
1、试将图17.1的例子进行潜在语义分析，并对结果进行观察。 解： 使用奇异值分解算法进行分析，该矩阵的阶数比较低，使用梯度下降算法感觉会麻烦一点，还可能无法达到最优解。 程序是： import numpy as np def solution(A): U,S,V_T = np.linalg.svd(A) return U, S, V_T if __name__ == '__main__': A = np.array([[2,0,0,0],
李航老师《统计习方法》第二版第二十一章课后题答案以及关于PageRank的改进算法
qq_41626059的博客
07-22 7087
1、李航老师《统计学习方法》第二版第二十一章课后题答案 21.1 假设方阵A是随机矩阵，即其每个元素的非负，每列元素的和为1，证明AkA^{k}Ak仍然是随机矩阵，其中k是自然数。 证明： 为了方便的使用矩阵乘法，我们令A=ATA=A^{T}A=AT,也就是A是一个行随机矩阵，每行的元素之和为1. 设eee是一个元素全为1的列向量，他的维数和矩阵A的位数是一样的。那么Ae=e(1)Ae=e\tag{1}Ae=e(1)在公式（1）的两边同时用AAA作用，得 A∗Ae=A2e=Ae=e(2)A*Ae=A^{
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值