梯度下降(Gradient Descent)原理和Python实现

梯度

对多元函数的参数$\alpha$求偏导数，把各个偏导数结合在一起，就是梯度。对于多元函数$f=(x_1,x_2,x_3......x_n)$的梯度是一个长度为$n$的向量，向量中第$k$个值就是其对函数$f$的偏导数。
$$\Delta f(x_1,x_2,x_3......x_n)=((\frac{\alpha f}{\alpha x_1}),(\frac{\alpha f}{\alpha x_2}).....(\frac{\alpha f}{\alpha x_n}))$$

梯度下降和梯度上升

梯度下降

1. 假定线性回归的假设函数为$h_{\theta }(x_1,x_2.....x_n)={\theta }_0+{\theta }_1{x}_1+.....+{\theta }_n{x}_n$，则对应的损失函数为：$$J({\theta }_0,{\theta }_1.....{\theta }_n)=\frac{1}{2m}{\Sigma }_{i=0}^m(h_{\theta }(x_1,x_2.....x_n)-y_i{)}^2$$
2. 初始化步长$\alpha$，算法终止距离$\epsilon$，以及${\theta }_1,{\theta }_2....{\theta }_n$
3. 过程：

• 确定当前损失函数的梯度，对于${\theta }_i$为：$\frac{\alpha }{{\alpha }_j}J({\theta }_1,{\theta }_2.....{\theta }_n)$
• 用步长乘以当前损失函数得到下降距离
• 确定所有的${\theta }_i$梯度下降是否都小于$\epsilon$，如果是则退出，否则进入步骤4
• 更新所有的$\theta$，对于${\theta }_i$：${\theta }_i={\theta }_i-\alpha \frac{\alpha }{{\alpha }_i}J({\theta }_0,{\theta }_1....{\theta }_n)$，更新完毕后继续步骤1

梯度上升

和梯度下降一样，只是在更新$\theta$的时候是加不是减

使用场景

梯度下降是求局部极小值，而梯度上升是求局部最大值

logistic的目标函数:$$l={\Sigma }_{i=1}^m{y}_i\ast log(p_i)+(1-y_i)\ast log(1-p_i)$$,因为是优化目标出现的概率，所以越大越好，需要用梯度上升。

线性回归的cost函数为：$$\frac{1}{2}{\Sigma }_{i=1}^m(h_i-y_i{)}^2$$对于cost函数我们需要越小越好，所以用逻辑下降。

Python实现：

github地址：https://github.com/mantoujiaozi/Learning/blob/master/Andrew Wu/batch-gradient-descent.py