机器学习02：多变量线性回归

机器学习——多变量回归

模型

普通表示

$n$为特征个数。
$$y={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3+\cdot \cdot \cdot +{\theta }_n{x}_n$$
令$x_0=1$:
$$y={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3+\cdot \cdot \cdot +{\theta }_n{x}_n$$

向量表示

$x\text{x}x=\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ \cdot \cdot \cdot \\ x_n\end{array}\right]ϵR^{n+1}$， $\theta \text{θ}\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ \cdot \cdot \cdot \\ {\theta }_n\end{array}\right]ϵR^{n+1}$，$y\text{y}y={\theta }^T\text{θT}{\theta }^{T}x\text{x}x$

多元梯度下降法

repeat{θj:=θj−αJ(θ)}for  every  j=0,1,2...n repeat \left\{ \theta_j:=\theta_j-\alpha J(\pmb{\theta}) \right\} for\,\, every\,\,j=0,1,2...n repeat{θj​:=θj​−αJ(θθθ)}foreveryj=0,1,2...n
$n=1$时（实际上也是单变量线性回归）：

$repeat:$
$$\begin{gathered} {\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(\widehat{y_i}-y_i) \\ {\theta }_1:={\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m(\widehat{y_i}-y_i) \end{gathered}$$

$n\ge 1$时：
$repeat:$
$$\begin{gathered} {\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(\widehat{y_i}-y_i)x_{i0} \\ {\theta }_1:={\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m(\widehat{y_i}-y_i)x_{i1} \\ \cdot \cdot \cdot \\ {\theta }_n:={\theta }_n-\alpha \frac{1}{m}\sum _{i=1}^m(\widehat{y_i}-y_i)x_{in} \end{gathered}$$

特征缩放

对于多个特征值，如果这些特征值的数量级差别很大，在不做任何处理的情况下，利用梯度下降法最小化损失函数的过程将收敛很慢，比如下面的情况，对于特征$x_1$和$x_2$：
$$\{\begin{array}{ll}0<x_1<1000& \\ 1<x_2<3& \end{array}$$
它的收敛过程将非常缓慢。
那么我们如果解决这个问题呢？我们的目的是使每个特征值都尽量保持在同一数量级范围内，因此，可以对每个特征值进行如下操作：
$$x_i=\frac{x_i-{\mu }_i}{s_i}$$
参数解释：
${\mu }_i$：所有样本中特征$x_i$的平均值
$s_i$：所有样本中特征$x_i$的极差（max-min）

正规方程（Normal）法

梯度下降法中，为了最小化损失函数，每一次的迭代过程都要遍历样本中的各个数据。然而，利用正规方程，我们可以一步到位。
下面看一个例子：

$x_0$	$x_1$	$x_2$	$x_3$	$x_4$	$y$
1	2104	5	1	45	460
1	1416	3	2	40	232
1	1534	3	2	30	315
1	852	2	1	36	178

在这个例子中，一共有4个特征$x_1,x_2,x_3,x_4$，则：
$$X\text{X}X=\left[\begin{array}{ccccc}1& 2104& 5& 1& 45\\ 1& 1416& 3& 2& 40\\ 1& 1534& 3& 2& 30\\ \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot \\ 1& 842& 2& 1& 36\end{array}\right]$$
$$y\text{y}y=\left[\begin{array}{c}460\\ 232\\ 315\\ 178\end{array}\right]$$
利用矩阵的相关运算可求得：
$$\theta \text{θ}\theta =(X^{T}X\text{XTX}{X}^{T}X{)}^{-1}{X}^{T}y\text{XTy}{X}^{T}y$$
对于一组含有m个样本，n个特征的数据：
利用$x_j^{(i)}$表示第i个样本的第j个特征值。
$$x^i\text{xi}{x}^i=\left[\begin{array}{c}{x}_0^{(i)}\\ x_1^{(i)}\\ x_2^{(i)}\\ \cdot \cdot \cdot \\ x_n^{(i)}\end{array}\right]$$
$$X\text{X}X=\left[\begin{array}{c}{x}^{(1)}\\ x^{(2)}\\ x^{(3)}\\ \cdot \cdot \cdot \\ x^{(m)}\end{array}\right]$$
$$y\text{y}y=\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ y^{(3)}\\ \cdot \cdot \cdot \\ y^{(m)}\end{array}\right]$$
则：
$$\theta \text{θ}\theta =(X^{T}X\text{XTX}{X}^{T}X{)}^{-1}{X}^{T}y\text{XTy}{X}^{T}y$$

$X^{T}X$的不可逆情况

1. 特征值中出现了多余的数据（比如$x_1=a{x}_2$，$a$为常数）
2. 过多的特征（样本的数量远小于特征的数量）

梯度下降法和正规方程法比较

梯度下降法

• 需要我们手动选择学习率 $\alpha$
• 需要很多次的迭代，而且每次迭代都要遍历所有数据
• 但是当特征特征数量$n$比较大时（上百万或上千万），梯度下降法要比正规方程法效果好

正规方程法

• 不需要选择学习率 $\alpha$
• 不需要进行多次迭代
• 需要计算矩阵的乘积和矩阵的逆（$(X^{T}X{)}^{-1}$），这个过程的复杂度大约为$O(n^3)$，当$n$比较大时，所需的开销也会很大

因此，当$n$比较小时，通常选择正规方程法，当$n$比较大时，通常选择梯度下降法。

总结

通过上面的学习我们可以发现，单变量的回归是当$n=1$时的多变量回归。