机器学习第三章-线性模型

目录

3.1基本形式

3.2线性回归

3.3对数几率回归

3.4线性判别分析

3.5多分类学习

3.6类别不平衡问题

---

3.1基本形式

线性模型 试图学得一个通过属性的线性组合来进行 预测的函数，即

                ​​​​​​​        

向量形式为：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        

3.2线性回归

 "线性回归" 试图学得一个线性模 型以尽可能准确地预测实值输出标记.

 线性回归试图学得：

        ​​​​​​​        ​​​​​​​        

衡量 f(x) 与y之间的差别来确定w和b，

均方误差 是回归任务中最常用的性能度量，因此我们可试图让均方误差最小化，即

        

求解 称为线性回归模型的最小二乘"参数估计" 我们可将 E（w，b）   分到求导，得到

                        

从而得到w和b的最优解：

        ​​​​​​​        ​​​​​​​        ​​​​​​​