线性模型(逻辑回归（二分类、多分类）、岭回归、lasso)

线性模型是一个通过在属性上的线性组合来进行预测的函数。
优点：

• 许多非线性模型可通过在线性模型的基础上引入层级结构或高维映射得到
• 模型参数直观表达了属性对于结果的重要性，线性模型具有很好的解释性

缺点：模型较简单，准确度有时较低。

普通线性模型:

$$y\hat{}=w_1{x}_1+w_2{x}_2+...+w_n{x}_n+b={\mathbf{w}}^T\mathbf{x}+b$$
$y\hat{}$ 为预测值，$\mathbf{x}$是样本，$\mathbf{w}$是参数，$b$是截距（偏置项）。
设置损失函数：$$\theta =\sum _{i=1}^n{y}_i-y_i\hat{}=(y_i-{\mathbf{w}}^T{\mathbf{x}}_i-b{)}^2$$
这里的损失函数通常采用均方误差，然后通过最小二乘求解参数$\mathbf{w}$。

最小二乘法：基于均方误差最小化来进行模型求解的方法。
在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离最小。

最小二乘参数估计：
$$\frac{\partial \theta }{\partial \mathbf{w}}=2\sum _{i=1}^n({\mathbf{x}}_i(y_i-{\mathbf{w}}^T{\mathbf{x}}_i-b))$$
$$\frac{\partial \theta }{\partial \mathbf{b}}=2\sum _{i=1}^n(b-y_i+{\mathbf{w}}^T{\mathbf{x}}_i)$$
令$\frac{\partial \theta }{\partial \mathbf{w}}=\frac{\partial \theta }{\partial \mathbf{b}}=0$可得到参数$\mathbf{w}和b$的解析解（闭式解）：$$\mathbf{w}=\frac{{\sum }_{i=1}^n{y}_i({\mathbf{x}}_i-\mathbf{x}\stackrel{ˉ}{})}{{\sum }_{i=1}^n{\mathbf{x}}_i^2-\frac{1}{n}({\sum }_{i=1}^n{\mathbf{x}}_i{)}^2}$$
$$b=\frac{1}{n}\sum _{i=1}^n(y_i-{\mathbf{w}}^T{\mathbf{x}}_i)$$
最小二乘法：
把数据集D表示为一个$m\ast n$的矩阵$\mathbf{x}$，$w$表示为一个$n\ast 1$的向量$\mathbf{w}$，$y$表示为$m\ast 1$样本的真实值。
$$\hat{y}=\mathbf{x}\mathbf{w}$$
误差$\theta =\frac{1}{2}(\mathbf{y}-\hat{y}{)}^2=\frac{1}{2}(\mathbf{y}-\mathbf{x}\mathbf{w}{)}^2=\frac{1}{2}(\mathbf{y}-\mathbf{x}\mathbf{w}{)}^T(\mathbf{y}-\mathbf{x}\mathbf{w})$，求误差的极小值，通过求导得到：
$$\frac{1}{2}(\mathbf{y}-\mathbf{x}\mathbf{w}{)}^T(\mathbf{y}-\mathbf{x}\mathbf{w})=\frac{1}{2}({\mathbf{y}}^T-{\mathbf{w}}^T{\mathbf{x}}^T)(\mathbf{y}-\mathbf{x}\mathbf{w})=\frac{1}{2}({\mathbf{y}}^T\mathbf{y}-{\mathbf{y}}^T\mathbf{x}\mathbf{w}-{\mathbf{w}}^T{\mathbf{x}}^T\mathbf{y}+{\mathbf{w}}^T{\mathbf{x}}^T\mathbf{x}\mathbf{w})$$
$$\frac{\partial \theta }{\partial \mathbf{w}}={\mathbf{x}}^T(\mathbf{x}\mathbf{w}-\mathbf{y})$$
令$\frac{\partial \theta }{\partial \mathbf{w}}=0$，得到参数$\mathbf{w}$的解析解：$${\mathbf{w}}^{\ast }=({\mathbf{x}}^T\mathbf{x}{)}^{-1}{\mathbf{x}}^T\mathbf{y}$$

岭回归

在普通线性回归的最小二乘中，只有当矩阵为非奇异矩阵时，解${\mathbf{w}}^{\ast }=({\mathbf{x}}^T\mathbf{x}{)}^{-1}{\mathbf{x}}^T\mathbf{y}$才有效，但是在大多数情况下矩阵都是不满秩的，这个时候可以用岭回归来解决。
岭回归就是在普通最小二乘后面加上2范数约束的正则化项：$$\theta =\frac{1}{2}(\mathbf{y}-\mathbf{x}\mathbf{w}{)}^2+{\Vert \mathbf{w}\Vert }_2^2$$
再通过求导令其为0得到参数的更新：$${\mathbf{w}}^{\ast }=(\mathbf{x}{\mathbf{x}}^T+\lambda I{)}^{-1}{\mathbf{x}}^T\mathbf{y}$$
岭回归的功能：

• 使矩阵变为满秩矩阵，有解析解。
• 可以通过调节参数$\lambda$来解决变量的多重共线性问题
• 加入正则化项在一定程度上能防止过拟合

Lasso

在岭回归中，通过加入$l2$范数，来防止过拟合。Lasso使用$l1$范数：$$\theta =\frac{1}{2}(\mathbf{y}-\mathbf{x}\mathbf{w}{)}^2+{\Vert \mathbf{w}\Vert }_1$$
$l1$是取绝对值，Lasso能使问题产生稀疏解。求解Lasso可以使用迭代加权、次梯度、ADMM等方法。

正则化为什么可以降低模型过拟合的风险

正则化可以降低模型复杂度，减少模型过拟合的风险，在回归问题中的解释是：当特征之间存在高度相关关系的时候，假设有两个特征高度负相关，那么不带正则化的回归问题可能会赋予二者近似相等的很大权重，这样加权起来的结果仍然较小，但是由于权重很大，就导致了过拟合问题。Ridge Regression会倾向于在相关特征之间均匀分布权重，Lasso则倾向于从相关特征中选取出一个，其余特征权值衰减为零。另外，正则化的目的也可以理解为使模型权重之间的方差较小，

逻辑回归模型：

逻辑回归算法虽然有回归两字，却是分类算法。
sigmoid函数：$h(z)=h(z)=\frac{1}{1+e^{-z}}$，函数对于0-1之间的数值比较敏感，趋于正无穷或负无穷时，函数趋近平滑状态，当数值$z$趋于无穷小时，函数值趋于0；当数值$z$趋于无穷大时，函数值趋于1.

广义线性模型：$y=g^{-1}({\mathbf{w}}^T\mathbf{x}+b)$，函数$g(.)$称为联系函数。

对数线性回归：$lny={\mathbf{w}}^T\mathbf{x}+b$

一个事件的几率：指该事件发生的概率与该事件不发生的概率的比值。

对数几率函数：$y=\frac{1}{1+e^{-z}}$，一种sigmoid函数。

对数几率回归（logistic-regression）：$y=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}$，得到的值是样本取值为1的概率。

对数几率：$ln\frac{y}{1-y}={\mathbf{w}}^T\mathbf{x}+b$

设类标记有两类：0，1.属于二分类问题，有：$$P(y=1|\mathbf{x})=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}=\frac{e^{{\mathbf{w}}^T\mathbf{x}+b}}{1+e^{{\mathbf{w}}^T\mathbf{x}+b}}$$
$$P(y=0|\mathbf{x})=1-P(y=1|\mathbf{x})=\frac{1}{1+e^{{\mathbf{w}}^T\mathbf{x}+b}}$$
得到似然函数（似然函数类似于损失函数，但通常极大化似然函数，极小化损失函数）：
$$\prod _{i=1}^{n}P(y_i|{\mathbf{x}}_{\mathbf{i}};\mathbf{w},b)=\prod _{i=1}^n[P(y=1|{\mathbf{x}}_i;\mathbf{w},b{)}^{y_i}P(y=0|{\mathbf{x}}_i;\mathbf{w},b{)}^{1-y_i}]=\prod _{i=1}^n[(\frac{e^{{\mathbf{w}}^T{\mathbf{x}}_i+b}}{1+e^{{\mathbf{w}}^T{\mathbf{x}}_i+b}}{)}^{y_i}(\frac{1}{1+e^{{\mathbf{w}}^T\mathbf{x}+b}}{)}^{1-y_i}]$$
该似然函数的意义是：令每个样本属于其真实标记的概率越大越好。$P(y=1|{\mathbf{x}}_i;\mathbf{w},b)$表示给定参数$\mathbf{w},b$的条件下，对于样本${\mathbf{x}}_i$属于$y=1$的概率是多少。
对似然函数取对数得到对数似然函数：$$l(\mathbf{w},b)=\sum _{i=1}^{n}lnP(y_i|{\mathbf{x}}_{\mathbf{i}};\mathbf{w},b)$$
令$z={\beta }^T\mathbf{x}={\mathbf{w}}^T\mathbf{x}+b$，对数似然函数可化为：$$l(\beta )=\sum _{i=1}^n{y}_{i}ln\frac{e^z}{1+e^z}+(1-y_i)ln(1-\frac{1}{1+e^z})=\sum _{i=1}^n{y}_{i}z-ln(1+e^z)$$
求$l(\beta )$的极大值通常转化为用梯度下降法求$-l(\beta )$的极小值。$-l(\beta )={\sum }_{i=1}^n(-y_i{\beta }^T{\mathbf{x}}_i+ln(1+e^{{\beta }^T\mathbf{x}}))$
用梯度下降法：${\beta }^{t+1}={\beta }^t-\alpha \frac{\partial l(\beta )}{\partial \beta }={\beta }^t-\alpha {\sum }_{i=1}^n(-y_i+\frac{e^{{\beta }^T{\mathbf{x}}_i}}{1+e^{{\beta }^T{\mathbf{x}}_i}}){\mathbf{x}}_i$
得到训练好的模型$f({\beta }^{\ast })=\frac{1}{1+e^{-({\beta }^{\ast }\mathbf{x})}}$后，对于输入样本$\mathbf{x}$有一个0-1之间数值，当数值大于0.5时为类别1，否则为类别0

多分类的逻辑回归模型：

逻辑回归除了用于二分类问题外，稍微变化一下还能用于多分类。
通常情况下，多分类学习是由二分类学习方法推广来的，利用二分类学习器来解决多分类问题。将多分类任务拆分为若干个二分类任务求解，对每一个二分类任务训练一个分类器。

• 一对一(One vs One，ovo)：
  对于给定数据集，假设有$k$类，将这$k$类两两配对，从而训练产生$k(k-1)/2$个分类器，将测试样本同时提交给所有分类器，最后根据投票结果，即预测得最多的类别作为分类结果。

• 一对其余(One vs Rest，ovr):
  每次将一个类别作为正例，其余类别作为反例训练$k$个分类器，将测试样本同时给所有分类器，最后根据值最大的作为分类结果。

softmax函数：$$\delta (z_j)=\frac{e^{z_j}}{{\sum }_{i=1}^n{e}^{z_i}}$$
softmax函数能够把一列数值映射到0-1之间并突出最大值（使其趋于1），放低最小值（使其趋于0）
在二分类问题中，使用的是logstic-regression函数：$y=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}$，多分类问题中采用softmax函数。
有$$P(y=1|\mathbf{x};\beta )=\frac{e^{{\beta }_1^T\mathbf{x}}}{{\sum }_{i=1}^k{e}^{{\beta }_i^T\mathbf{x}}}$$
$$P(y=2|\mathbf{x};\beta )=\frac{e^{{\beta }_2^T\mathbf{x}}}{{\sum }_{i=1}^k{e}^{{\beta }_i^T\mathbf{x}}}$$
$$⋮$$
$$P(y=j|\mathbf{x};\beta )=\frac{e^{{\beta }_j^T\mathbf{x}}}{{\sum }_{i=1}^k{e}^{{\beta }_i^T\mathbf{x}}}$$
$P(y=j|\mathbf{x};\beta )$表示样本$\mathbf{x}$在参数$\theta$的条件下属于类别$j$的概率；${\beta }_j$表示在类别$j$下的参数，即每个类别都有自己的分类器（One vs Rest模式）；$k$是类别总数。
得到似然函数：
$$\prod _{i=1}^n\sum _{j=1}^k(1\left\{y^i=j\right\}\frac{e^{{\beta }_j^T\mathbf{x}}}{{\sum }_{l=1}^k{e}^{{\beta }_l^T\mathbf{x}}})$$
$1\left\{y^i=j\right\}$表示当大括号内的表达式值为真时，取 1，为假时取 0。取对似然函数取对数得到对数似然函数：
$$l(\beta )=\sum _{i=1}^n\sum _{j=1}^k(1\left\{y^i=j\right\}ln\frac{e^{{\beta }_j^T\mathbf{x}}}{{\sum }_{l=1}^k{e}^{{\beta }_l^T\mathbf{x}}})$$
极大化对数似然函数即令每个样本属于其真实标记的概率最大。$maxl(\beta )=min-l(\beta )$
上述对数似然函数是将所有分类器一起讨论，可以将单独的分类器进行讨论:
对于分类器$j$，有似然函数：$l({\beta }_j)={\sum }_{i=1}^n(1\left\{y^i=j\right\}ln\frac{e^{{\beta }_j^T\mathbf{x}}}{{\sum }_{l=1}^k{e}^{{\beta }_l^T\mathbf{x}}})$
利用梯度下降法:
$$-\frac{\partial l({\beta }_j)}{\partial {\beta }_j}=-\sum _{i=1}^n{\mathbf{x}}_i(1\left\{y^i=j\right\}-\frac{e^{{\beta }_j^T\mathbf{x}}}{{\sum }_{l=1}^k{e}^{{\beta }_l^T\mathbf{x}}}))$$
$${\theta }_j^{t+1}={\theta }_j^t-\alpha (-\frac{\partial l({\beta }_j)}{\partial {\beta }_j})$$
迭代求出$k$个最优分类器，把测试样本同时给所有的分类器，值最大的分类器的所属类别为最后的预测结果。
《机器学习》中对基础知识讲解得较为透彻，但是对公式的推导讲得不够详细，在《统计学习方法中》有较详细的推导。