机器学习-模型评估与选择（第2章）课后习题

最新推荐文章于 2024-09-17 21:00:07 发布
原创 最新推荐文章于 2024-09-17 21:00:07 发布 · 1.1k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能

1习题

1.1第1题

数据集包含 1000 个样本, 其中 500 个正例、 500 个反例, 将其划分为包含 70% 样本的训练集和30% 样本的测试集用于留出法评估, 试估算共有多少种划分方式。

答：“留出法”（hold-lout)直接将数据集D划分为两个互斥的集合。训练集和测试集的划分要尽可能保持数据分布的一致性。根据题目要求，需要抽取700个训练样本作为训练集，300个测试样本作为测试集，正例与反例的比例为1：1，即训练集中有350个正例和350个反例，测试集中有150个正例和150个反例。共有C_{500}^{350}\times C_{500}^{350}种。

1.2第2题

数据集包含100个样本，其中正、反例各一半，假定学习算法所产生的模型是将新样本预测为训练样本较多的类别（训练样本数相同时进行随机猜测），试给出用10折交叉验证法和留一法分别对错误率进行评估所得的结果。

答：10折交叉检验:由于每次训练样本中正反例数目一样，所以讲结果判断为正反例的概率也是一样的，所以错误率的期望是50%。留一法：如果取一个正例作为测试样本，则训练样本中正例与反例的比例为49：50，此时模型对测试样本的预测结果为反例，错误率为1;如果取一个反例作为测试样本，则训练样本中正例与反例的比例为50：49，此时模型对测试样本的预测结果为正例，错误率为1。综上所述，期望错误率为1。

1.3第3题

若学习器A的F1值比学习器B高，试析A的BEP值是否也比B高。

答：

F1值在二维坐标内的曲线上任意可取的点都可计算得到。 

BEP则是曲线上确定的一点。平衡点（Break-Event Point，简称BEP）就是这样一个度量，它是 查准率=查全率 时的取值。

现在看学习器A和学习器B交叉的右半部分，假设A上有点（0.85，0.5），B上有点（0.9，0.5）。则计算得：

学习器A的F1(A)=(2*0.85*0.5)/(0.85+0.5)=0.630

学习器B的F1(B)=(2*0.9*0.5)/(0.9+0.5)=0.643

有：F1(B)>F1(A)

所以由B的F1(B)大于A的F1(A)，并不能得出B的BEP大于A的BEP。

1.4第4题

试述真正例率（TPR）、假正例率（FPR）与查准率（P）、查全率（R）之间的联系。

答：

查全率（R)：真实正例被预测为正例的比例。R=TP/(TP+FN)

真正例率（TPR）:真实正例被预测为正例的比例。TPR=TP/(TP+FN)

显然查全率（R）=真正例率（TPR）

查准率（P）:预测为正例的实例中真实正例的比例。P=TP/(TP+FP)

假正例率（FPR）:真实反例被预测为正例的比例。FPR=FP/(FP+TN)

查全率越大，查准率往往越低；查准率越高，查全率往往越低。

1.5第5题

试证明式子：

机器学习（西瓜书）第二章 模型评估与选择 课后习题 - 简书 (jianshu.com)

1.6第6题

试述错误率与 ROC 曲线的联系。

答：通常我们把分类错误的样本数占样本总数的比例称为错误率（error rate）。

ROC曲线上的任意一点都是对应着(FPR，TPR)

TPR=TP/(TP+FN)

FPR=FP/(FP+TN)

而错误率对应着\frac{FN+FP}{m_{+}+m_{-}}

故而错误率对着每一点的不同而不同

\frac{\left ( 1-TPR \right )m_{+}+FPRm_{-}}{m_{+}+m_{-}}

1.7第7题

试证明任意一条ROC曲线都有一条代价曲线与之对应，反之亦然。

答：

真正例率：TPR=\frac{TP}{TP+FN}

假正例率：FPR=\frac{FP}{TN+FP}

假反例率：FNR=1-TPR

由定义可以知道TPR与FPR都是由0上升到1，那么FNR则是由1下降到0。

每条ROC曲线都会对应一条代价曲线，由于第一条代价线段是（0，0），（1，1），最后是（0，1）（1，0）。

所有代价线段总会有一块公共区域，这个区域就是期望总体代价，而这块区域的边界就是代价曲线，且肯定从（0，0）到（1，0）。

在有限个样本情况下，ROC是一条折线，此时根据代价曲线无法还原ROC曲线。但若是理论上有无限个样本，ROC是一条连续的折线，代价曲线也是连续的折线，每个点的切线可以求出TPR与FNR，从而得到唯一的ROC曲线。

1.8第8题

答：

规范化：将原来的度量值转换成无量纲的值。通过将属性数据按照比例缩放，通过一个函数将给定属性的整个值域映射到一个新的值域中，即每个旧的值都被一个新的值替代。

Min-max规范化：

等比例缩小：\frac{x_{max}^{'}-x_{min}^{'}}{x_{max}-x_{min}}  

原数据的偏移量：x-x_{min}

整个公式的意思是：将原数据的偏移量等比例缩小，再在新范围的最小值上加上缩小后的偏移量，即可得出新数据的值。

优点：保留了原数据之间偏移量的关系；可以指定数据规范化后的取值范围；是计算复杂度最小的一个方法。

缺点：需要预先知道规范后的最大最小值；若原数据新增数据超越原始范围（最大最小范围），则会发生“越界”，需要重新计算所有之前的结果；若原数据有的值离群度很高(即使得原数据最大或最小值很大)，规范后的大多数数据会特别集中且不易区分。

z-score规范化：

公式表示原数据减去所有原数据的均值\bar{x},再除以标准差\sigma _{x},即为规范后的数据。

将公式变形后知，z-score规范化，其实是在计算每个数据相较于均值的偏差距离平方占所有偏差距离平方和的比例。

优点:每次新增或删除原数据，其均值\bar{x}和方差\sigma _{x}均可能改变，需要重新进行计算；根据其就算原理易知，规范化后的数据取值范围基本在[-1,1],数据之间分布较为密集，对离群点敏感度相对低一些；计算量相对更大。

1.9第9题

略

1.10第10题

略

参考文章：

[1] 周志华. 机器学习.清华大学出版社. 2016 年

https://max.book118.com/html/2020/1229/8006134067003032.shtm

https://blog.youkuaiyun.com/cherryc2015/article/details/60132563

https://www.docin.com/p-2296476862.html

https://blog.youkuaiyun.com/huzimu_/article/details/123306748

https://www.zhihu.com/question/337049681

https://blog.youkuaiyun.com/u014134327/article/details/94603249

周志华《机器学习》第二章课后习题
qq_40694323的博客
06-18 5394
周志华《机器学习》第二章课后习题
《西瓜书》- 第2章 模型评估与选择 习题答案整理
haiyu94的博客
05-02 1万+
说明 自己整理，欢迎交流～ 2.1 数据集包含1000个样本，其中500个正例、500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估计有多少种划分方式。 答：30%用于测试集相当于要从正负样本各选500*30%=150个样本 所以一共有 C500150⋅C500150C_{500}^{150}·C_{500}^{150}C500150​⋅C500150​ 2.2 ...
西瓜书（《机器学习》周志华）习题解析-第2章-模型评估与选择
JeremyZhao1998的博客
03-09 1万+
西瓜书（《机器学习》周志华）习题解析-第2章-模型评估与选择 2.1 数据集包含1000个样本，其中500个正例、500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估算有多少种划分方式。 500个正例和500个反例，根据分层抽样的原则，30%的测试样本共300个，其中必须包含150个正例和150个反例。若不考虑样本其他的分布情况，则选取方式为：从500个正例中随机抽取150个，再从500个反例中随机抽取150个，两个过程相互独立，则共有(C500150)2(C_{500}
机器学习(周志华)读书笔记+课后习题 第二章
mercibeau的博客
09-06 2119
                                   第二章 模型评估与选择 2.1经验误差与过拟合     错误率：分类错误的样本占样本总数的比例。  E = a／m     精度：1 - a／m     训练误差／经验误差：训练集上的误差     泛化误差：新样本上的误差。 2.2评估方法     区分数据集，把数据集分为两部分，一部分是训练集S另外一部分是测试集...
机器学习的课程习题和答案
05-14
吴恩达机器学习公开课的课程习题和答案，对照视频学习很方便。
第二章机器学习基本方法---模型评估与模型参数选择
2301_80952588的博客
09-17 809
因为如果我们过多的将坏用户当成好用户，这样后续可能发生的违约金额会远超过好用户偿还的借贷利息金额，造成严重偿失。这就说明了：由于样本不平衡的问题，导致了得到的高准确率结果含有很大的水分。• 验证集评估出来的效果并非模型的最终效果，主要是用来调整超参数的，模型最终效果以测。由于我们训练得到一个模型最终的目的 是为了在未知的数据上得到尽可能准确的结果，因此。超参数越少，或者超参数很容易调整，那么可以减少验证集的比例，更多的分配给训练集。2、模型的复杂度太高（比如隐藏层层数设置的过多，神经元的数量设置的过大）
【机器学习】西瓜书课后习题参考答案—第2章模型评估与选择
一个甜甜的大橙子的博客
05-07 4198
记录西瓜书课后习题的思考与参考答案。
周志华《机器学习》课后习题解答系列（三）：Ch2 - 模型评估与选择
热门推荐
Snoopy_Yuan技术部落格
03-15 2万+
本章概要 本章讲述了模型评估与选择（model evaluation and selection）的相关知识： 2.1 经验误差与过拟合（empirical error & overfitting） 精度accuracy、训练误差（经验误差）training error（empirical error）、泛化误差**generalization error、过拟合**overf...
【机器学习 西瓜书】第二章模型评估与选择习题解答
CrystalLuo0827的博客
09-09 2134
AUC 是 ROC 曲线下面积，衡量的是分类器将正负样本正确排序的能力。AUC 的计算可以表述为：假设数据集有 m 个正样本和 n 个负样本。如果分类器给正样本打的分数比负样本高，那么我们认为这个排序是正确的。AUC 值为 1 表示所有正样本都被排在负样本之前，AUC 值为 0.5 表示分类器是随机猜测的。
精选资源
机器学习课后习题答案.pdf
02-12
线性模型是一种常用的机器学习模型，例如线性回归、逻辑回归等。线性模型的优点是简单易于实现，计算速度快，适合大规模数据集。 在习题答案中，第二章节是关于线性模型的描述。第二个问题是关于对率回归的目标函数...
吴恩达机器学习第二章答案ex2.rar
11-16
吴恩达机器学习第二章作业答案，包含答案，题目解析和原始数据。本博客为作者自行完成的吴恩达机器学习课后练习题目，使用的是matlab语言。
机器学习1-2章习题答案
03-24
1-2章机器学习习题答案,1-2章很全面
机器学习部分课后习题答案.
01-20
机器学习部分课后习题答案
机器学习——课后习题解答
大墅哥哥的博客
06-08 2万+
文章目录 第一章绪论 1. 表1.1中若只包含编号为1和4的两个样例，是给出相应的版本空间。 2. 与使用单个合取式来进行假设表示相比，使用“析合范式”将使得假设空间具有更强的表示能力，例如 3. 若数据包含噪声，则假设空间中有可能不存在与所有训练样本都一致的假设。在此情形下，试设计一种归纳偏好用于假设选择。 4. 本章在1.4节在论述“没有免费的午餐”定理时，默认使用了“分类错误率”作为性能度量来对分类器进行评估。若换用其他性能度量\ellℓ,则式(1.1)将改为下式，试证明NLF仍然成立。 5. 试述机
机器学习 | 模型评估与优化
weixin_44965848的博客
04-21 695
交叉验证法 1.K折叠交叉验证法（k_fold cross validation） 在scikit-learn中，默认使用的交叉验证法是K折叠交叉验证法（k_fold cross validation）：将数据集拆分成k个部分，再用k个数据集对模型进行训练和评分。 cross_val_score sklearn.model_selection.cross_val_score(estimator, X, y=None, groups=None, scoring=None, cv=’warn’, n_jobs
周志华版机器学习第二章习题答案
weixin_43518584的博客
04-16 4895
原文参考链接：https://blog.youkuaiyun.com/icefire_tyh/article/details/52065224 学习笔记：https://blog.youkuaiyun.com/wynlnlhhjy/article/details/81409514?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFro...
周志华《机器学习》第二章 模型评估与选择 笔记及习题解答
qq_32735511的博客
04-20 3489
第二章 模型评估与选择 笔记笔记经验误差与泛化误差过拟合评估法留出法交叉验证法留一法自助法性能度量 笔记 经验误差与泛化误差   学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称为“泛化误差” 过拟合   学习器把训练样本自身特点当做所有潜在样本都会具有一样的性质，导致泛化能力下降，这种现象叫做过拟合 评估法 留出法   用“分层抽样法”将数据集D划分为两个集合：训练集SS...
机器学习（周志华） 习题参考答案 第二章 模型评估与选择
李歇特冯-兹拜因巴哈的博客
10-11 5700
数据集包含1000个样本，其中500个正例，500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估算共有多少种划分方式。 答：在保持样本均衡的前提下，正例和反例在训练和测试集中的数量相同。在正例中的采样结果为C500150C_{500}^{150}C500150​，所以总的采样结果为(C500150)2{(C_{500}^{150})^2}(C500150​)2。...
《机器学习》周志华课后习题答案——第二章（1-4题已完结）
weixin_45626630的博客
11-18 1万+
《机器学习》周志华课后习题答案——第二章（更新中） 文章目录《机器学习》周志华课后习题答案——第二章（更新中）一、数据集包含1000个样本,其中500个正例、500 个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估,试估算共有多少种划分方式.二、数据集包含100个样本,其中正、反例各占一半,假定学习算法所产生的模型是将*新样本预测为训练样本*数较多的类别(训练样本数相同时进行随机猜测)，试给出用10折交叉验证法和留一法分别对错误率进行评估所得的结果.三、若学习器A的 F1值比学习器
机器学习第二版赵卫东第七章课后习题答案
最新发布
05-16
### 关于机器学习教材第二版赵卫东第七章课后习题答案 目前并未提供具体的第七章课后习题及其解答的内容。然而，可以基于已有知识推测该章节可能涉及的主题以及常见的练习形式。 #### 可能涉及的核心主题 根据《机器学习》赵卫东的学习笔记和其他参考资料[^1]，第七章通常会围绕监督学习中的某些特定算法展开讨论，例如支持向量机(SVM)、核方法或其他高级分类技术。以下是几个常见问题方向： 1. **SVM原理与实现** 支持向量机是一种重要的线性和非线性分类器，在处理高维空间的数据时表现出色。其核心思想在于通过最大化间隔找到最优超平面[^4]。 2. **核技巧的应用** 当数据不可被直线分割时，可以通过引入核函数映射到更高维度的空间解决问题。常用的核函数有径向基函数(RBF)，多项式核等[^3]。 3. **模型评估指标** 学习如何计算并解释混淆矩阵、精确率(Precision)、召回率(Recall)、F1分数(F1-Score)对于理解模型性能至关重要[^2]。 #### 示例代码片段 下面给出一段简单的Python代码用于构建和支持向量机的基础操作： ```python from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.svm import SVC from sklearn.metrics import classification_report, confusion_matrix # 加载数据集 iris = datasets.load_iris() X_train, X_test, y_train, y_test = train_test_split( iris.data, iris.target, test_size=0.3) # 创建 SVM 分类器实例 clf = SVC(kernel='linear') # 使用线性核作为例子 clf.fit(X_train, y_train) # 预测测试集标签 y_pred = clf.predict(X_test) # 输出结果报告 print(confusion_matrix(y_test, y_pred)) print(classification_report(y_test, y_pred)) ``` 以上代码展示了如何加载Iris数据集，并运用Scikit-Learn库里的`SVC`模块完成训练和验证流程。 #### 提醒事项 由于具体题目未明示，请自行查阅原书获取最权威版本的答案解析。如果遇到特别复杂的推导或者编程实践难题，则建议结合官方文档进一步探索解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天寒心亦热

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值