《机器学习（周志华）》Chapter4 决策树 课后习题答案

最新推荐文章于 2023-11-02 20:51:15 发布
最新推荐文章于 2023-11-02 20:51:15 发布
阅读量1.6k 收藏 3
点赞数
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010083327/article/details/79769892
版权

由决策树生成过程可知，不含冲突数据对结点标记有两种情况，一、划分后数据集为同一类则结点标记为该类的叶节点，二、划分后数据集中的属性相同则标记为数据集中类别最多的类。这样所有属性相同的样本最终标记必定会一样，即必存在误差为0的决策树。


训练误差不一定能代表泛化误差，若以最小训练误差作为决策树划分选择准则会容易导致过拟合，泛化性能差


4.3编程实现id3


4.4编程实现CART







《机器学习》周志华--第4章读书笔记+习题答案
weixin_45775701的博客
11-15 4557
第四章-决策树习题答案 习题答案 1.试证明对于不含冲突数据(即特征向量完全相同但标记不同)的训练集，必存在与训练集一致(即训练误差为0)的决策树。 答： 说法一：不含冲突数据;决策树是按照特征来进行划分->可以得到每个叶节点中的样本的所有特征及标记完全相同的决策树->与训练集一致。 说法2:因为决策树是通过属性来划分,相同属性的样本最终肯定会进入相同的叶节点。- -个叶节点 只有一个分类，如果样本属性相同而分类不同，必然产生训练误差。反之，决策树只会在当 前样本集合是同一类或者所有属性相同时才
机器学习西瓜书（周志华）第四章 决策树
小蜗牛的博客
05-22 1万+
第四章 决策树1. 概述2. 特征选择2.1 信息增益2.2 信息增益率2.3 基尼指数3. 决策树生成4. 决策树剪枝4.1 预剪枝2. 对数几率回归（logistic regression）2.1 对数几率函数（logistic function）2.2 用极大似然求解2.3 LR的多分类问题3. 线性判别分析4. 多分类学习4.1 利用二分类学习器解决多分类问题4.2 最经典的拆分策略（Ov...
课程资料｜机器学习-周志华 教材+课后习题答案！
Baoyan_cs的博客
11-02 1264
全书共16章，大致分为3个部分：第1部分（第1～3章）介绍机器学习的基础知识；第2部分（第4～10章）讨论一些经典而常用的机器学习方法（决策树、神经网络、支持向量机、贝叶斯分类器、集成学习、聚类、降维与度量学习）；第3部分（第11～16章）为进阶知识，内容涉及特征选择与稀疏学习、计算学习理论、半监督学习、概率图模型、规则学习以及强化学习等。学习成绩，不管是是保研、考研、出国留学，还是找实习找工作，希望同学们能够在接下来的学习生活中取得良好的成绩！机器学习是计算机科学的重要分支领域。向下滑动查看所有内容。
《机器学习》周志华课后习题答案——第四章 (1-5已完结)
weixin_45626630的博客
11-24 1万+
《机器学习》周志华课后习题答案一第四章 (1-5已完结) 文章目录《机器学习》周志华课后习题答案一第四章 (1-5已完结)一、试证明对于不含冲突数据(即特征向量完全相同但标记不同)的训练集,必存在与训练集一致(即训练误差为 0)的决策树.二、试析使用“最小训练误差”作为决策树划分选择准则的缺陷.三、试编程实现基于信息熵进行划分选择的决策树算法,并为表4.3中数据生成一棵决策树.四、试编程实现基于基尼指数进行划分选择的决策树算法,为表4.2中数据生成预剪枝、后剪枝决策树,并与未剪枝决策树进行比较.五、试编程实
机器学习（周志华）第四章习题解答
carson0408的博客
08-24 1万+
转自：http://blog.youkuaiyun.com/wzmsltw/article/details/51059394 本文是对周志华的《机器学习》的习题解答，文章整理的很好，为方便之后查看，记录如下～ ～～～ 注：本文中的代码均使用Python，常用工具包包括 pandas，scikit-learn，numpy， scipy，matplotlib等。 4.1试证明对于不含冲突数据（即特
周志华-机器学习-第四章（决策树）-笔记+习题答案
qq_31683033的博客
12-05 2204
笔记 1.基本流程 2.划分选择 信息增益 假定当前样本集合D中第K类样本所占的比例为 Pk (k = 1, 2,. . . , IYI) ，则D的信息熵定义为 信息增益为： 信息增益准则对可取值数目较多的属性有所偏好。 增益率 为减少这种偏好可能带来的不利影响，使用"增益率"，表达式如下： 需注意的是，增益率准则对可取值数目较少的属性有所偏好?因此 C4.5 算法并不是直接选择增益率最...
机器学习-周志华-课后习题答案-线性模型
天台的猫爷爷的博客
01-17 1万+
3.1试分析在什么情况下，在以下式子中不比考虑偏置项b。答：在线性回归中，所有参数的确定都是为了让残差项的均值为0且残差项的平方和最小。在所有其他参数项确定后，偏置项b（或者说是常数项）的变化体现出来的就是拟合曲线的上下整体浮动，可以看做是其他各个解释变量留下的bias的线性修正。因此在线性拟合过程中是需要考虑偏置项的。但若需要做的是比较不同自变量对因变量的影响，那么不需要考虑常数项，这样得到的回
周志华《机器学习》课后习题个人解答
01-30
周志华《机器学习》课后习题个人解答。各算法都拿numpy和pandas实现了一遍
机器学习_周志华（西瓜书） 课后习题答案 第四章 Chapter4
qq_40273675的博客
05-07 9170
习题4.3 Q：试编程实现基于信息熵进行划分选择的决策树算法，并为表4.3中数据生成一棵决策树。 表4.3 西瓜数据集3.0中包含6个离散属性（分别3个属性值）、两个连续属性（分别17个属性值）。 —— Step1：对于离散属性，我们可以直接计算各属性的信息增益Gain(D,a)； Step2：对于连续属性，我们需要先根据其属性值（17个），首先确定候选值（16个），然后计算各属性的信息增益，选择...
《机器学习》周志华第10章降维与度量学习 思维导图+笔记+习题
weixin_45775701的博客
01-04 1848
K-Means与LVQ都试图以类簇中心作为原型指导聚类，其中K-Means通过EM算法不断迭代直至收敛，LVQ使用真实类标辅助聚类；高斯混合聚类采用高斯分布来描述类簇原型；密度聚类则是将一个核心对象所有密度可达的样本形成类簇，直到所有核心对象都遍历完；最后层次聚类是一种自底向上的树形聚类方法，不断合并最相近的两个小类簇。本篇将讨论机器学习常用的方法–降维与度量学习。 降维与度量学习 维数（dimensionality）：样本的特征数 “维数灾难”：维数非常大 具体表现在：在高维情形下，数据样本将变得十分稀疏
机器学习 第四章部分答案
12-26
机器学习的作业，第四章，部分答案。可以参考一下
西瓜书《机器学习》课后答案——chapter10 _10.1 KNN算法
CodeTutor
10-26 5435
编程实现k邻近分类器，在西瓜数据集3.0α上比较其分类边界与决策树分类边界的异同。# -*-coding: gbk -*- """ @Author: Victoria @Date: 2017.10.26 9:00 """ import xlrd import numpy as np import matplotlib.pyplot as plt import operatorclass KNN():
《机器学习》(周志华)课后习题参考答案
qq_31688497的博客
10-08 3483
https://blog.youkuaiyun.com/kchai31/article/details/78966941
《机器学习》周志华课后习题答案——第一章（1-3题完结）
weixin_45626630的博客
11-09 9616
《机器学习》周志华课后习题答案——第一章 文章目录《机器学习》周志华课后习题答案——第一章一、表1.1中若只包含编号为1和4的两个样例，试给出相应的版本空间二、与使用单个合取式来进行假设表示对比……（题目看图） 一、表1.1中若只包含编号为1和4的两个样例，试给出相应的版本空间 对于这个题，网上流传的答案版本空间大概有7种甚至9种，依愚愚解，我认为只有4种。因为最终是要得出“某个”西瓜是“好瓜”的结论，故只有四种。 二、与使用单个合取式来进行假设表示对比……（题目看图） （部分引用自https:/
《机器学习（周志华）》Chapter1 绪论 课后习题答案
周博的博客
03-22 4836
表1.1 包含4个样例，3种属性，假设空间中有3 * 4 * 4 + 1 = 49种假设。在不考虑冗余的情况下，最多包含k个合取式来表达假设空间，显然k的最大值是49，每次从中选出k个来组成析合式，共​种可能。但是其中包含了很多沉余的情况(至少存在一个合取式被剩余的析合式完全包含<空集除外>)。如果考虑沉余的情况 在这里忽略空集，一个原因是并不是太明白空集是否应该加入析合式，另外就算需...
《机器学习》周志华课后习题答案——第五章（1-7已完结）
weixin_45626630的博客
11-01 2万+
第五章课后习题答案 文章目录第五章课后习题答案一、试述将线性函数f(x) = wTx用作神经元激活函数的缺陷？二、试述使用图5.2(b)激活函数的神经元与对率回归的联系三、对于图5.7中的Vih,试推导出BP算法中的更新公式(5.13). 一、试述将线性函数f(x) = wTx用作神经元激活函数的缺陷？ 使用线性函数作为激活函数时，因为在单元层和隐藏层，其单元值仍是输入值X的线性组合。 若输出层也用线性函数作为激活函数，达不到“激活”与“筛选”的目的，这样相当于整个的线性回归。 二、试述使用图5.2(b
机器学习（周志华）课后作业/习题答案
热门推荐
Mr_Cat123的博客
01-23 2万+
前言：本作业系笔者通过个人思考、参考博文、引擎搜索、查阅资料等各种途径完成，因此必然有解答不当之处。故本系列答案仅仅作为笔者个人笔记使用（相当于笔者的在线笔记本，因此仅一家之言）。此外笔者只完成部分认为有用的问题。 持续更新中… 第一章 1.1 通常情况下，版本空间是正例的泛化。在我们确定学习目标之后（比如找到“好瓜”，视为正例），可能有多个假设（hypothesis）是跟我们的目标一致的，满足...
周志华《机器学习》课后习题解答系列（五）：Ch4 - 决策树
Snoopy_Yuan技术部落格
04-06 1万+
本章讲述决策树的相关内容，包括决策树的生成，剪枝，连续值、缺失值的处理，多变量决策树等内容。
机器学习（周志华）课后习题
paintShadow的博客
10-21 1万+
机器学习记录
周志华机器学习习题答案
最新发布
01-02
### 周志华《机器学习》课后习题答案 对于周志华《机器学习》书中第一章的部分习题解答如下： #### 表1.1中若只包含编号为1和4的两个样例，试给出相应的版本空间 当表1.1仅保留编号为1和4的样例时，版本空间是指所有能与这两个样例相一致的假设集合。由于只有两个样例，因此可以构建出较为具体的版本空间描述[^1]。 ```python # Python伪代码展示如何枚举可能的假设组合 def generate_version_space(): attributes = ['Sunny', 'Warm', '?', 'Normal', 'Young'] version_space = [] # 枚举满足条件的假设 for sky in ['Sunny', '?']: for temperature in ['Warm', '?']: for humidity in ['?', 'High', 'Normal']: for wind in ['Strong', '?']: for water in ['Warm', '?']: for forecast in ['Same', '?']: hypothesis = [sky, temperature, humidity, wind, water, forecast] # 判断该假设是否符合给定的正实例 if (hypothesis[:3] == ['Sunny', 'Warm', 'Normal'] or '?' in hypothesis[:3]) and \ (hypothesis[-2:] == ['Warm', 'Same'] or '?' in hypothesis[-2:]): version_space.append(hypothesis) return version_space ``` 上述Python伪代码展示了如何通过编程方式来列举符合条件的假设列表，从而形成版本空间的一部分。 #### 若数据包含噪声，则假设空间中有可能不存在与所有训练样本都一致的假设，在此情形下，试设计一种归纳偏好用于假设选择 面对含噪数据的情况，可以选择引入某种形式的归纳偏置或偏好原则来进行更稳健的学习过程。例如，采用奥卡姆剃刀原理(Occam's Razor)，即倾向于选择最简单的解释作为最终模型；或是基于最大似然估计(Maximum Likelihood Estimation)的方法去挑选那些能够最大化观察到的数据概率分布下的参数配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值