台大机器学习听课笔记---基石 9-1 Linear Regression

台大机器学习听课笔记---基石 9-1 Linear Regression

找一个线性函数或超平面来描述所看到的实数资料是什么样的。

红色线段 ---- rediduals:余差

最小化Ein

• Linear Classiffication 和Linear Regression

Err0/1不好解。换成好解的Errsqr。

LR得来的W，可以用来做LC.

• Summary

联系一下机器学习的本质：

假设集H ： 所有预测用的函数h的集合，根据其输出值，可以将问题分为回归和分类
数据D：   已知的数据集合，通常包含训练数据和测试数据
算法A：      在H中选取一个在D上表现最好的假设，在实际中，就是通过最优化理论来选择模型参数。
VC bound ：在训练数据和测试数据从同一个概率分布抽取，且数据量够大时时，对于常见的 error measure（0/1 error, square error 等），h在训练数据上的表现与在测试数据上的表现接近，       于是我们可以通过最小化训练数据上 error 来最小化在整个数据分布上的 error。