机器学习中的线性模型

线性模型是比较基础也比较简单的一类模型，我在前面没有提及，在这篇文章里面介绍一下一些线形的模型。

基本形式

所谓线性模型就是用于预测的模型是线性的，可以写成以下的形式

$$\hat y(w,x) = w_1x_1+\cdots+w_dx_d+b$$
其中$w = (w_1;w_2;\cdots;w_d)$
在有的地方也有另一种形式,比如
$$\hat y(w,x) = w_0+w_1x_1+\cdots+w_dx_d$$
就是相当于把代表斜率的$w$和$b$写在了一起，$x=(1,x_1,x_2,\cdots,x_d)$，最后可得$\hat y = w*b$

基本最小二乘（Least Sqaures）

基本的最小二乘的形式就是

$$w^* = \arg \min_w \Vert Xw-y \Vert _2^2 \quad \quad \quad (1)$$
就是求出令模型的平方误差最小的$w$。

对于一维的情况，就是以前在统计学中学习过的最小二乘法，下面介绍包含一维的多元线性回归

对于一个数据集$D$其中有$m$个样本点，每个样本点的维度为$d$，那么我们将这个数据集表示为一个大矩阵

$$X = \begin{pmatrix} x_{11} & x_{12} &\dots&x_{1d}&1\\ x_{21} & x_{22} &\dots&x_{2d}&1\\ \vdots &\vdots& \ddots&\vdots& \vdots\\ x_{m1} & x_{m2} &\dots&x_{md}&1\\ \end{pmatrix} = \begin{pmatrix} x_1^T&1\\ x_2^T&1\\ \vdots&\vdots\\ x_m^T &1\\ \end{pmatrix}$$
令$E_w = \Vert Xw-y \Vert _2^2$，那么我们求$E_w$对$w$的偏导数，可得
$$\frac{\partial E_w}{\partial w} = 2X^T( Xw-y)$$
当$X^TX$为满秩矩阵或者正定的时候，有
$$w^* = (X^TX)^{-1}X^T y$$
这样我们就解决了上面的优化问题，但是有时候$X^TX$不是满秩的就是变量数过多，或者数据量太少的时候，$w$可以有很多解，这时候需要引入正则化项，通过正则化的归纳偏好来决定

另外基本的最小二乘有个很大的缺点，即使数据集的分布真的是线性的，最后的解受噪声（或者叫离群点）的影响很大。一个相差很大的噪声点可以很大的影响最后的模型，这个跟平均值有点类似。

岭回归（Rige Regression）

对于$X$，如果它的向量之间线性关系比较强，或者不是列满秩，那么$\vert X^TX \vert \sim 0$，也就是矩阵趋于奇异的，那么求$(X^TX)^{-1}$就会有较大的误差，这时候直接的最小二乘对随机误差非常敏感，所以我们在公式(1)中添加正则化项，得到

$$w^* = \arg \min_w （ \Vert Xw-y \Vert _2^2 +\alpha \Vert w\Vert _2）\quad \quad \quad (2)$$
注意正则化项$\Vert w \Vert$用的是2范数，那么这有什么用？
我们求解(2)可以得到
$$w^* = (X^TX+ \alpha I)^{-1}X^T y$$
$X^TX+ \alpha I$能够一定程度上解决上面提到的求逆的问题。

岭回归的性质：
(1) $\alpha = 0$为最小二乘回归
(2) $\alpha$ 越大，$w$各个分量趋向于0

上图为随着$\alpha$增大（从右往左），$w$各个分量的变化情况，称为岭迹图。在实际中可以选择一个岭迹相对比较平稳，然后最后的误差变化不太大的参数作为$\alpha$的值。

综合来看，岭回归就是通过放弃部分的信息和精度，获得更合理的结果，更好的数值稳定性。岭回归是一种有偏估计。

LASSO

LASSO的形式和岭估计非常类似，只是正则化项从2范数变成了1范数

$$w^* = \arg \min_w （ \Vert Xw-y \Vert _2^2 +\alpha \Vert w\Vert _1）\quad \quad \quad (3)$$

LASSO可以产生更为稀疏的解，就是随着$\alpha$的增长，$w$中一直可能会产生0。
下面两幅图描述了岭回归和LASSO的解的分布，图中的$\beta$就是本文中的$w$

上图是岭回归的解的情况，解就是等高线和圆相切的地方

上图是LASSO的解的情况，可以看到有一个分量为0，这就是解的稀疏性的由来。

逻辑斯谛回归（对数几率回归）

线性模型是否可以用来分类？这里引入对数几率回归，考虑二分类任务，输出类别$y \in \{0,1\}$，而线性回归产生的预测值$z = w^Tx+b$是实值，我们首先可以想到利用0/1阶跃函数将$z$转换为离散的类别$y$。但是阶跃函数不可微，所以我们使用Sigmoid函数将$z$映射到0,1区间内。
Sigmoid函数

$$y = \frac{1}{1+e^{-z}}$$
带入$z$可得
$$y = \frac{1}{1+e^{-(w^Tx+b)}}$$
经过变换可得

$$\ln \frac{y}{1-y} = w^Tx+b$$
将y视为样本为正例的可能性，那么1-y是为反例的可能性 $\frac{y}{1-y}$称为几率，它的对数称为对数几率即$\ln \frac{y}{1-y}$
所以可以看到，逻辑斯蒂模型是通过线性模型拟合输出值的对数几率
然后我们可以得到样本为正例的概率其实就是y，那么有
$$p(y=1|x) = \frac{e^{w^Tx+b}}{1+e^{w^Tx+b}}$$
$$p(y=0|x) = \frac{1}{1+e^{w^Tx+b}}$$

上面我们有了表达式，然后就可以用极大似然法来估计参数，令$\pi(x) = p(y=1|x)$，并且采用将参数$b$写进$w$的写法，即$y = wx$，那么对数似然函数为

$$L(w,b) = \ln (\prod_{i=1}^N([\pi(x_i)]^{y_i} [1-\pi(x_i)]^{1-y_i}])) = \sum_{i=1}^N [y_i\ln \pi(x_i)+(1-y_i)\ln (1-\pi(x_i))]$$
$$= \sum_{i=1}^N [y_i(wx_i) -\ln(1-e^{wx_i})]$$

通过梯度下降或者牛顿法之类的优化算法可以求解上面的优化问题，从而得到的估计值。

以上就是列出的一些线性模型以供参考，还有其他很多的线性模型的变体，感兴趣的可以进一步地查找资料。