监督学习应用(Linear Regression)与梯度下降

监督学习应用(LinearRegression)与梯度下降

变量定义

m = 训练数据数目
x = 输入变量（特征） features
y = 输出变量（目标） target
(x, y) 训练数据
$i^{th}$ trainning example= {$x^{(i)}, y^{(i)}$} 第i份训练数据

算法流程

graph TD

A[Trainning Set]-->B[Learning Algorithm]
B-->C[H, hypothesis 目标函数]

subgraph 

D[X_test]-->C
C-->E[Y_test]

end

Linear Regression

假设$x_0=1$, 则：
线性回归的假设函数为：

$$\begin{cases} h(x)=\sum_{i=0}^n \theta_ix_i=\Theta^TX \\ n=features \text{ 特征数目} \end{cases}$$

于是，我们的目标就是使得：

$$\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2$$ 最小
为了后期的计算方便，我们的目标修改为：
$$J(\theta)=\frac{1}{2}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2$$

search Algorithm使得$J(\theta)$最小

1. 假设，初始化$\Theta=\vec{0}$
2. 保持改变$\Theta$，直到使得$J(\theta)$最小

那么，如何改变$\Theta$ ??

梯度下降算法

为了使得$J(\theta)$最小，我们求其偏导，则可以以此确定每一个参数的前进方向。
$\Theta_i:=\Theta_i-\alpha\frac{{\rm d }}{d \Theta_i}J(\Theta_i)$

简单的推导：

$$\begin{aligned} \frac{{\rm d}J(\Theta_i)}{{\rm d}\Theta_i} & =2\cdot\frac{1}{2}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})\frac{{\rm d}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})}{{\rm d}\Theta_i} \\ & \because h(x)=\sum_{i=0}^n \theta_ix_i=\Theta^TX, \text{y is real} \\ & \therefore \frac{{\rm d}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})}{{\rm d}\Theta_i}=x_i \\ \frac{{\rm d}J(\Theta_i)}{{\rm d}\Theta_i}&=\sum_{i=1}^m(h_\theta(x^{(i)}-y^{(i)}))x_i \end{aligned}$$
从而：
$\Theta_i:=\Theta_i-\alpha\sum_{i=1}^m(h_\theta(x^{(i)}-y^{(i)}))x_i$
其中 $\alpha$是控制“步长”，控制前进的幅度。

如何确定$J(\theta)$已经最小？
当$J(\theta)$的值变化不大或者足够小的时候，我们可以认为他已经收敛，那么算法停止。

随机梯度下降算法（增量梯度下降算法）

当m很大的时候，梯度下降算法将消耗大量的时间和内存。而增量梯度下降算法则是可以节约大量的时间。

$$\begin{aligned} Repeat&\lbrace\\ & \text{for j=1 to m}\lbrace \\ &\text{for all i }\\ &\Theta_i:=\Theta_i-\alpha(h_\theta(x^{(j)})-y^{(j)})x^{(j)}\\ \rbrace\\ &\rbrace \end{aligned}$$
随机梯度算法通常得到一个接近于全局最优解的可行解，但是一般不会差距太大。

一种更加广泛的表达方式

令：

$$\Delta_\theta J=\begin{bmatrix} \frac{d J}{d \theta_0}\\ \vdots\\ \frac{d J}{d \theta_n} \end{bmatrix}$$
则：
$\begin{cases} \Theta := \Theta - \alpha \Delta_\theta J \ \Theta \in R^{n+1} \ \Delta_\theta J \in R^{n+1} \end{cases}$

设函数$f$是一个$m \times n$空间到一维空间的映射：

$$f: R^{m \times n} \mapsto R \text{ ,则} f(A), A \in R^{m \times n}$$

$$\Delta_A f(A)=\begin{bmatrix} \frac{d f}{d A_{11}} & \cdots & \frac{d f}{d A_{1n}}\\ \vdots & \ddots & \vdots \\ \frac{d f}{d A_{m1}} & \cdots & \frac{d f}{d A_{mn}}\\ \end{bmatrix}$$

$tr(A)=\sum_{i=1}^nA_{ii} \text{ ,也写作：} trA$

$$\begin{aligned} &Facts:\\ &tr AB = tr BA\\ &tr ABC = tr CAB =tr BCA\\ &f(A) = tr AB \qquad \Delta_A trAB= B^T \\ &trA=trA^T\\ &\Delta_AtrABA^TC=CAB + C^TAB^T \end{aligned}$$
由以上的定理，我们可以进行以下的推导：
$$\begin{aligned} X \cdot \Theta & =\begin{bmatrix} (x^{(1)})^T\\ \vdots\\ (x^{(n)})^T \end{bmatrix} \Theta\\ & =\begin{bmatrix} {x^{(1)}}^T\Theta\\ \vdots\\ {x^{(n)}}^T\Theta \end{bmatrix} =\begin{bmatrix} h_\theta(x^{(1)})\\ \vdots\\ h_\theta(x^{(m)}) \end{bmatrix} \end{aligned}$$
同理， $$\vec{y}=\begin{bmatrix} (y^{(1)})\\ \vdots\\ (y^{(n)}) \end{bmatrix}$, 则：$X \cdot \Theta - \vec{y}=\begin{bmatrix} h(x^{(1)}-y^{(1)})\\ \vdots\\ h(x^{(m)}-y^{(m)}) \end{bmatrix}$$
矩阵转置再相乘： $\frac{1}{2}{(X \cdot \Theta - \vec{y})}^T(X \cdot \Theta - \vec{y})=\frac{1}{2}\sum_{i=1}^m(h(x^{(i)})-y^{(i)})^2$
于是：
$$\begin{aligned} \Delta_\theta J(\theta)&=\Delta_\theta \frac{1}{2}(X\Theta-\vec{y})^T(X\Theta-\vec{y})\\ &=\frac{1}{2}\Delta_\theta (\Theta^T X^TX\Theta-\Theta^TX^T\vec{y}-\vec{y}^TX\Theta+\vec{y}^T\vec{y})\\ &=\frac{1}{2}\Delta_\theta tr(\Theta^T X^TX\Theta-\Theta^TX^T\vec{y}-\vec{y}^TX\Theta+\vec{y}^T\vec{y})\\ &=\frac{1}{2}\Delta_\theta (tr\Theta^T X^TX\Theta-2tr\vec{y}^TX\Theta)\\ &=\frac{1}{2}(X^TX\Theta+X^TX\Theta-X^T\vec{y})\\ &=X^TX\Theta-X^T\vec{y} \end{aligned}$$
因为目标是使得 $J_\theta$最小，则，我们令其最小为0：
$$\begin{aligned} X^TX\Theta &=X^T\vec{y} \\ \Theta&=\frac{X^T\vec{y}}{X^TX} \end{aligned}$$

参考自【斯坦福】机器学习（Machine Learning）- 吴恩达（Andrew Ng）