西瓜书《机器学习》课后习题NFL

最新推荐文章于 2023-08-05 13:46:25 发布
原创 最新推荐文章于 2023-08-05 13:46:25 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#FNL  #no free lunch

本文探讨了机器学习中的NOFREELUNCH定理，强调了对于世界上所有问题，任意两个学习算法的总误差相同，指出算法的有效性依赖于具体问题，通过条件概率解析算法性能。

NO FREE LUNCH(没有免费的午餐定律——NFL)

该定理内容是，任意两个不同的归纳偏好（类似选择模型的“价值观”）/学习算法e，对于世界上所有问题的总误差是一样的（误差的总期望）。 换句话说，也就是，无论算法的是否聪明，或者聪明程度如何，都不是任何问题都适用，总有有些适用，有些不适应，比例五五开。所以得具体问题具体对待。

本题是原书上的例题的扩展，例题内假设问题是分类问题，可以算出分类问题的期望数，此题将问题泛化。用L来表示。

利用概率论中的，条件概率求和相关知识得到答案于算法无关（具体看上解）！

NFL定理——没有免费的午餐No Free Lunch Theorem
dscl_yk的博客
08-07 808
对NFL定理的证明作了详细推导
《机器学习》西瓜书课后题13.4
weixin_42152526的博客
07-06 1129
《机器学习》课后题13.4 根据书上给的算法写出来的TSVM，标准化了一下，针对有标记样本的是绿色的那根线，最后的支持向量机是黄色的那根线。 python代码 import numpy as np import pandas as pd from sklearn.datasets import load_iris from sklearn import svm import matplotlib....
机器学习笔记(2)----“没有免费的午餐”定理
樽前花下歌筵里
03-22 4076
“没有免费的午餐”定理（No Free Lunch Theorem，简称NFL） 先来看一个例子。假设学习算法a基于某种归纳偏好产生了对应于A的模型，学习算法b基于另一种归纳偏好产生了对应于曲线B的模型。 基于奥卡姆剃刀原理，我们会期待算法a比算法b更好。确实，如图(a)所示，和B相比，A与训练集外的样本更一致；换言之，A的泛化能力比B强。 但是，且慢！虽然我们希望并相信算法a比b更好，但会
【机器学习】西瓜书课后习题参考答案—第2章模型评估与选择
一个甜甜的大橙子的博客
05-07 4194
记录西瓜书课后习题的思考与参考答案。
机器学习西瓜书课后作业整理.zip
06-26
机器学习西瓜书课后作业整理.zip
《机器学习》西瓜书课后题6.2
weixin_42152526的博客
06-09 3315
《机器学习》课后题5.7 不知道为什么别人拟合出来跟我的不太一样 近期应该看一看matpoltlib，感觉把支持向量的边界画出来应该很有意思 然后这几天写一个自己的SVM出来，试试看，感觉会很复杂！希望可以！ python代码 import pandas as pd from sklearn import svm data = [[0.697, 0.460, 1], [0.774...
《机器学习》西瓜书课后习题作业笔记
piaozx2001的博客
09-16 4625
虽然只剩了0.5学分需要修，但是为了以后读研入门方便所以义无反顾地选了这门上课人数只有个位数的3学分的选修课。听课听的确实有些吃力，而且感觉机器学习不像自己之前想当然以为的那样是一种纯编程的课程。目前个人感觉机器学习更像是一种解决问题的数学方法，而编程只是实现这一方法的工具。为了以后读研（和期末考试）方便，特此将西瓜书的课后题（作业部分）记录在此，希望能加深自己的理解。希望评论区能有大佬对我不成熟且非独立思考出来的解题思路进行指正，共勉🤝🤝希望能快点领悟机器学习神经网络的内涵吧(ง •_•)ง。
【吃瓜教程】周志华机器学习西瓜书课后答案汇总
MaxQuYY的博客
09-19 6277
https://www.cnblogs.com/kailugaji/articles/10427586.html
【机器学习】西瓜书学习心得及课后习题参考答案—第1章绪论
一个甜甜的大橙子的博客
05-05 9846
记录西瓜书学习心得以及课后习题的思考与参考答案。
【学习笔记、面试准备】机器学习西瓜书要点归纳和课后习题参考答案——第1章
出尘的博客
03-30 1271
没有免费的午餐（No Free Lunch Theorem,NFL）定理：在所有可能的数据分布上，所有算法的期望性能都是相同的。一个具体的张的例子是：将两条线段（或向量）在平面内任意“拉伸”、“延长”，使其成为由它们张成的平面三角形的两条边。属性空间（attribute space）/样本空间（sample space）/输入空间：属性张成的空间。属性（attribute）/特征（feature）：反映对象在某方面的性质的事项。学习（learning）/训练（training）：从数据中学得模型的过程。
【机器学习/西瓜书】习题集合（含答案以及解析）
03-04
内容概要：机器学习的习题（非西瓜书课后例题），主要包含一些常见常考的选择题和填空题，适用于机器学习课程的闭卷考试。 适用人群：大学生 使用场景：期末考试前
《机器学习》（周志华）第一章课后习题参考答案
热门推荐
dicker'log
07-28 4万+
《机器学习》（周志华）第一章课后习题参考答案 《机器学习》（周志华）第一章课后习题参考答案 1.1 求版本空间 1.2 求假设空间大小 1.1 求版本空间 题目：表1.1中若只包含编号为1和4的两个样例，试给出相应的版本空间。 P5：与训练集一致的“假设集合”我们称之为版本空间。本题即在假设空间中搜索包含正例且不包含反例的所有假设。（详细说明见后思考） 首先，用一个六位二进...
周志华《机器学习》第一章笔记+公式推导+课后习题
Zoro的博客
07-02 1799
之前五月份因为要做一个水果分类的比赛，强行突击了台湾大学李宏毅老师的机器学习视频课，做比赛是够用了，但是没有系统的学习梳理过知识体系。暑假争取把导师推荐的书刷一遍，再做几个小项目，在开学之前把自己与别人的差距尽量缩小一些。Go fighting！     用作者的话说，本书的主要目的就是为读者提供一张“初级地形图“，给初学者指路。故本书第一章主要介绍何为机器学习、机器学习相关基础概念、发展...
机器学习西瓜书课后题目答案 第一章
最新发布
02-23
### 机器学习西瓜书第一章课后习题解析 #### 1.1 关于机器学习的理解 机器学习是一门通过计算手段，利用经验来改善系统自身性能的学科[^1]。此领域专注于研究各种“学习算法”，这些算法能够使计算机程序依据数据...
《机器学习》周志华 西瓜书习题1.1解答
shui_haiyang的博客
11-14 3874
题目： 1.1 表1.1中若只包含编号为1和4的两个样例，试给出相应的版本空间。 表1.1 编号 色泽 根蒂 敲声 好瓜 1 青绿 蜷缩 浊响 是 4 乌黑 稍蜷 沉闷 否 首先得理解版本空间的概念：即存在一个与训练集一致的“假设集合” 简单说就是我们要得到的这个版本空间是从所有的假设中删除和正例（色泽：青绿；根蒂：蜷缩；敲声：浊响）不一致的或与反例（色泽：乌黑；根蒂：稍蜷；敲声：沉闷）一致的假设 然后用我最开始想到的最笨的方法，列出所有的假设 正例（属性值定为1）反例（属性值
【机器学习】西瓜书学习心得及课后习题参考答案—第6章支持向量机
一个甜甜的大橙子的博客
08-05 3017
6.1 间隔与支持向量——w是法向量，垂直与超平面wTxb0。这一节了解了支持向量机的基本型。wbmin​21​∣∣w∣∣2styi​wTxi​b≥1i12...m6.2 对偶问题——SVM的基本型是一个凸二次规划问题，可以用更高效的方法求解。使用拉格朗日乘子法得到其“对偶问题”。了解了KKT条件，SMO算法。6.3 核函数——了解了能作为核函数的条件，和常用的核函数。
西瓜书《机器学习》课后编程题答案——3.3
yanying1113的博客
11-26 4196
Maching learning机器学习课后编程题答案——3.33.3编程实现对率回归，并给出西瓜数据集3.0α上的结果加载数据Sigmoid 函数低度下降计算权重分类完整程序画出分类后的点 3.3编程实现对率回归，并给出西瓜数据集3.0α上的结果 本文在参考《机器学习实战》的基础上，利用Python3编写了代码，完成了题目3.3，主要由这几部分组成： 加载数据 def loadDataSet()...
西瓜书（《机器学习》周志华）习题解析-第2章-模型评估与选择
JeremyZhao1998的博客
03-09 1万+
西瓜书（《机器学习》周志华）习题解析-第2章-模型评估与选择 2.1 数据集包含1000个样本，其中500个正例、500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估算有多少种划分方式。 500个正例和500个反例，根据分层抽样的原则，30%的测试样本共300个，其中必须包含150个正例和150个反例。若不考虑样本其他的分布情况，则选取方式为：从500个正例中随机抽取150个，再从500个反例中随机抽取150个，两个过程相互独立，则共有(C500150)2(C_{500}
机器学习周志华（西瓜书）课后习题参考答案
qq_42744358的博客
09-19 1万+
https://blog.youkuaiyun.com/icefire_tyh/article/details/52064910
西瓜书机器学习课后题第八章
12-27
### 西瓜书第八章课后题解答与讨论 对于西瓜书中第八章的课后题目，重点在于理解集成学习的概念及其不同方法的应用。这里提供几个典型问题的回答。 #### 不剪枝决策树构建 针对西瓜数据3.0α，在构建不剪枝决策树时，需要考虑如何选择最优划分属性以及处理连续值属性的方法[^1]。通常情况下，会基于信息增益或其他标准来挑选最佳分割点，并且对于数值型特征，则需将其离散化以便于分类器使用。 ```python from sklearn.tree import DecisionTreeClassifier import numpy as np # 构建简单的决策树模型作为示例 clf = DecisionTreeClassifier(criterion="entropy", max_depth=None, min_samples_split=2) X_train = [[...], [...]] # 输入样本集 y_train = [...] # 对应标签列表 clf.fit(X_train, y_train) ``` #### Bagging算法实现 Bagging是一种重要的集成策略，通过多次采样并训练多个基估计器最后汇总预测结果以提高稳定性。具体到Python代码层面可以借助`sklearn`库中的`BaggingClassifier`类轻松完成： ```python from sklearn.ensemble import BaggingClassifier from sklearn.neighbors import KNeighborsClassifier base_estimator = KNeighborsClassifier(n_neighbors=5) bagging_model = BaggingClassifier(base_estimator=base_estimator, n_estimators=10, bootstrap=True, oob_score=False, random_state=42) bagging_model.fit(X_train, y_train) ``` #### AdaBoost.M1算法解析 AdaBoost即自适应增强法，能够迭代调整权重使得难分错的数据得到更多关注从而逐步提升整体表现。在每次循环过程中更新实例权值分布并将弱分类器组合成强分类器。 ```python from sklearn.ensemble import AdaBoostClassifier ada_boost_clf = AdaBoostClassifier( base_estimator=DecisionTreeClassifier(max_depth=1), algorithm='SAMME', n_estimators=50, learning_rate=1. ) ada_boost_clf.fit(X_train, y_train) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值