Datawhale开源学习 &《机器学习》 第三章 线性模型

---

前言

线性模型其实从很早之前就开始接触，只是没有系统地学习，更没有发现原来其中有如此深的严格证明，需要巩固。

一、线性回归

从开始的一元线性回归模型开始学习，接触到最小二乘法、加权最小二乘法用于参数估计，并且可以利用极大似然估计、凸函数性质进行证明求得参数，这时候得到的值是一个闭式解。
而后接触对数几率回归（或称为逻辑回归），按照机器学习三要素——首先将这个非线性问题转化成集合问题，即找到一个单调可微函数，进而确定出一个广义线性模型；然后在策略部分可以利用极大似然估计、信息论中的信息熵/交叉熵等概念得出有关参数的损失函数，最后利用梯度下降法/牛顿法得出一个最优解（一般都是通过迭代得出的近似解）

---

二、线性判别分析LDA

• 思想：（首先考虑：二维情况）
  每个样本投影在一个向量w上，使得同类样本的投影点尽可能相近，不同类的投影点尽可能远离，而最终得出的损失函数也是一个广义瑞利熵的概念，解得的Sb 相对于 Sw的广义特征值对应的 特征向量为所求的投影向量。当然，也可以将样本位数映射到N，此时W形成各个投影直线的列矩阵，W的闭式解是w1, w2, … wN-1对应的最大广义特征值所赌赢的特征向量组成的矩阵。

• 未完待续

---

三、多分类学习

• 学习策略： 利用拆解或者集成分类的方法进行学习。

1. OVO One vs. One
2. OVR One vs. Rest
3. MVM Many vs. Many

四、 结尾