《learning from data》读书笔记---第三章: The Linear Model

Chapter 3 ：The Linear Model 

三大块：classification problem ，regression and probability estimation

3.1 Linear Classification 

二分类问题：利用线性分类器

 ①因为线性模型的dvc = d + 1，由前面 VC generalization bound 可得下列式子，由这个式子可以得出当N足够大时，Eout会接近Ein

 ②对于线性可分的数据集，第一章中提到的PLA可以完成分类，Ein = 0

①+② ，由 VC bound可以得出这个模型泛化效果很好（generalize well out of sample）

3.1.1 Non-Separable Data 

对于上面的两幅图，PLA都是无法停止的，因为不存在Ein=0的情况，且在运行PLA时会很不稳定，可能仅仅因为一次的更新导致模型由较好的性能变成很差的性能。 在图a中，用一条线进行分类看起来是可行的，但是我们需要 tolerate noise，最终选择 a hypothesis with a small Ein, not necessarily Ein = 0。对于图b，完全无法进行线性分类，需要 nonlinear transformation ，会在3.4节讲到。 为了找到一个hypothesis with the minimum Ein, 我们需要解决如下的优化问题。

但是因为最小化上式的Ein(w)是一个 NP-hard问题，所以我们退而求其次approximately minimizing Ein 。

 extend PLA ：The pocket algorithm，将当前最好的w装在口袋里，直到遇到更好的，替换掉。pocket algorithm在原PLA的基础上多加了evaluate Ein(w(t + 1)的步骤，所以速度更慢，converge 的速度没有保障。但因为其简单性，适合快速上手。

练习

 3.2 Linear Regression 

银行决定是否给用户颁发信用卡问题：yn不再是简单的颁发和不颁发（±1），而是一个实数值。

3.2.1 The Algorithm 

主要思想：minimizing the squared error