机器学习西瓜书第三章 线性模型

目录

 

3 线性模型

3.1 基本形式

3.2 线性回归

3.3 对数几率回归

3.4 线性判别分析

3.5 多分类学习

3.6 类别不平衡问题

课后习题

---

3 线性模型

3.1 基本形式

• 线性模型：试图学得一个通过属性的线性组合来进行预测的函数，即

用向量形式写成

非线性模型可以由线性模型转化而成。

3.2 线性回归

误差平方和

所谓线性回归，就是已知数据集学成一个线性模型，使得误差平方和最小。

具体的做法很简单，就是分别求Ew,b关于w和b的偏导并使其为0.

令上面的两个式子为0，解得：

下面我们讨论矩阵形式：
我们把w和b写成向量形式^w=(w,b)，把数据集D表示成m(d+1)的矩阵X*。每一行对应一个示例，改行前d个元素表示d个属性值，最后一个为1：

把标记写成向量形