线性模型--线性回归算法

基本形式

示例 $x=(x_1;x_2;......;x_d)$, 由 d 个属性组成，线性模型试图学得一个通过属性的线性组合来进行预测的函数，

$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$

向量形式为：

$f(x)=w^{T}x+b$

线性模型形式简单、易于建模，却蕴涵着机器学习中的一些重要的基本思想。许多更强大的非线性模型可在线性模型的基础上通过引入层级结构或高维映射而得。由于 w 表达了属性的重要性，模型的解释性很好。

线性回归

给定数据集 $D=(x_1,y_1),(x_2,y_2),...(x_m,y_m)$，其中$x_i=(x_{i1};x_{i2};...x_{id})，y_i\in R$。线性回归视图学得一个线性模型以尽可能准确的预测实值输出标记。

考虑属性只有一个的情况，即 d = 1，线性回归试图学得：

$$f(x_i)=w{x}_i+b使得f(x_i)\approx y_i\text{\hspace{1em}(1)}$$

确定 w 和 b 的关键在于如何衡量 f(x) 和 y 之间的差别。使用均方误差度量，那么

$$(w^{\ast },b^{\ast })=argmi{n}_{(w,b)}\sum _{i=1}^m(f(x_i)-y_i{)}^2=argmi{n}_{(w,b)}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$

基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。

求解 w 和 b 使 $E_{(w,b)}={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$ 最小化的过程，称为线性回归模型的最小二乘“参数估计”。

将 $E_{(w,b)}$ 分别对 w 和 b 求导，

$$\frac{\partial E_{(w,b)}}{\partial w}=2(w\sum _{i=1}^m(x_i{)}^2-\sum _{i=1}^m(y_i-b)x_i)$$

$$\frac{\partial E_{(w,b)}}{\partial b}=2(mb-\sum _{i=1}^m(y_i-w{x}_i))$$

然后使导数等于0， 得到 w 和 b 的解

$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\overline{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$

$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)$$

当样本属性个数 d 不等于1的时候，公式（1）写成

$f(x_i)=w^T{x}_i+b$ 使得 $f(x_i)\approx y_i$

称为多元线性回归，也称多变量线性回归。

令 $\hat{w}=(w;b)$ ，数据集 D 表示为一个 $m\times (d+1)$ 大小的矩阵 X ,那么类似上面的公式

$${\hat{w}}^{\ast }=argmi{n}_{(w,b)}(y-X\hat{w}{)}^T(y-X\hat{w})$$

令$E_{\hat{w}}=(y-X\hat{w}{)}^T(y-X\hat{w})$， 对 $\hat{w}$求导得到

$$\frac{\partial E_{\hat{w}}}{\partial \hat{w}}=2X^T(X\hat{w}-y)$$

使导数等于0，就能得到$\hat{w}$ 最优解的闭式解，但其中涉及到矩阵逆运算。

当$X^{T}X$为满秩矩阵或者正定矩阵时（此时，$X^{T}X$存在逆矩阵），导数为0得

$$\widehat{w^{\ast }}=(X^{T}X{)}^{-1}{X}^{T}y$$

令$\widehat{x_i}=(x_i;1)$则学到的多元线性回归模型是

$$f(\widehat{x^i})={\widehat{x_i}}^T(X^{T}X{)}^{-1}{X}^{T}y$$

但现实任务中$X^{T}X$往往不是满秩矩阵，例如属性数量远远大于样本数量时，就像求解线性方程组时，因变量过多，有多个解一样，此时可以有多个 $\hat{w}$, 常见的做法是引入正则化项。

广义线性回归

如果 x 对应的输出 y 是在指数尺度上变化，可将线性回归的公式写成如下形式：

$$\ln y=w^{T}x+b$$

这就是“对数线性回归”，其仍是线性回归，但实质上已是在求输入空间到输出空间的非线性函数映射。

更一般的，考虑单调可微函数 $g(.)$，令

$$y=g^{-1}(w^{T}x+b)$$

这样得到的模型为“广义线性模型”，其中$g(.)$称为“联系函数”。不同于一般线性模型参数估计的最小二乘法，广义线性模型的参数估计常通过加权最小二乘法或极大似然法进行。

参考

周志华《机器学习》