Wolf_xujie的博客

上节课，我们主要介绍了在有 noise 的情况下，VC Bound 理论仍然是成立的。同时，介绍了不同的 error measure 方法。本节课介绍机器学习最常见的一种算法： Linear Regression。一、线性回归问题在之前的 Linear Classification 课程中，讲了信用卡发放的例子，利用机器学习来决定是否给用户发放信用卡。本节课仍然引入信用卡的例子，来解决给用户发放信用卡额度的问题，这就是一个线性回归（Linear Regression）问题。令用户特征集为 d 维的

上一节课，我们主要介绍了 VC Dimension 的概念。如果 Hypotheses set 的 VC Dimension 是有限的，且有足够多 N 的资料，同时能够找到一个 hypothesis 使它的 Ein≈0E_{in} \approx 0Ein​≈0，那么就能说明机器学习是可行的。本节课主要讲了数据集有 Noise 的情况下，是否能够进行机器学习，并且介绍了假设空间 H 下演算法 A 的 Error 估计。一、Noise and Probablistic target上节课推导 VC Dim

前几节课着重介绍了机器能够学习的条件并做了详细的推导和解释。机器能够学习必须满足两个条件：假设空间 H 的 Size M 是有限的，即当 N 足够大的时候，那么对于假设空间中任意一个假设 g，Eout≈EinE_{out} \approx E_{in}Eout​≈Ein​。利用算法 A 从假设空间 H 中，挑选一个 g，使 Ein(g)≈0E_{in}(g) \approx 0Ein​(g)≈0，则 Eout≈0E_{out} \approx 0Eout​≈0。这两个条件，正好对应着 test 和

上一节课，我们主要探讨了当 M 的数值大小对机器学习的影响。如果 M 很大，那么就不能保证机器学习有很好的泛化能力，所以问题转换为验证 M 有限，即最好是按照多项式成长。然后通过引入了成长函数 [Math Processing Error] 和 dichotomy 以及 break point 的概念，提出 2D perceptrons 的成长函数 [Math Processing Error] 是多项式级别的猜想。这就是本节课将要深入探讨和证明的内容。一、Restriction of Break Poi

上节课，我们主要介绍了机器学习的可行性。首先，由NFL定理可知，机器学习貌似是不可行的。但是，随后引入了统计学知识，如果样本数据足够大，且hypothesis个数有限，那么机器学习一般就是可行的。本节课将讨论机器学习的核心问题，严格证明为什么机器可以学习。从上节课最后的问题出发，即当hypothesis的个数是无限多的时候，机器学习的可行性是否仍然成立？...

上节课，我们主要介绍了根据不同的设定，机器学习可以分为不同的类型。其中，监督式学习中的二元分类和回归分析是最常见的也是最重要的机器学习问题。本节课，我们将介绍机器学习的可行性，讨论问题是否可以使用机器学习来解决。一、Learning is Impossible首先，考虑这样一个例子，如下图所示，有 3 个 label 为 -1 的九宫格和 3 个 label 为 +1 的九宫格。根据这6个样本，提取相应label下的特征，预测右边九宫格是属于-1还是+1？结果是，如果依据对称性，我们会把它归为+1；如果

上节课我们主要介绍了解决线性分类问题的一个简单的方法：PLA。PLA能够在平面中选择一条直线将样本数据完全正确分类。而对于线性不可分的情况，可以使用Pocket Algorithm来处理。本节课将主要介绍一下机器学习有哪些种类，并进行归纳。一、Learning with Different Output Space Y我们在上节课引入的银行根据用户个人情况判断是否给他发信用卡的例子，这是一个典型的二元分类（binary classification）问题。也就是说输出只有两个，一般y={-1, +1}，

上节课，我们主要简述了机器学习的定义及其重要性，并用流程图的形式介绍了机器学习的整个过程：假设模型 H，使用演算法 A，在训练样本 D 上进行训练，得到最好的 h，其对应的 g 就是我们最后需要的机器学习的模型函数，一般 g 接近于目标函数 f。本节课将继续深入探讨机器学习问题，介绍感知机 Perceptron 模型，并推导课程的第一个机器学习算法：Perceptron Learning Algorithm(PLA)。一、Perceptron Hypothesis Set引入这样一个例子：某银行要根据用

B站真是个神奇的地方，平时找不到的课程来B站找找，总是有惊喜的，开心。NTU林轩田的《机器学习基石》课程整个基石课程分成四个部分：When Can Machine Learn?Why Can Machine Learn?How Can Machine Learn?How Can Machine Learn Better?每个部分由四节课组成，总共有16节课。那么，从这篇开始，我们将连续对这门课做课程笔记，共16篇，希望能对正在看这们课的童鞋有所帮助。下面开始第一节课的笔记：The Lear