梯度下降法

0. 什么是梯度

在一元函数$y=f(x)$中，导数就是函数的变化率。
$$\frac{dy}{dx}$$

二元函数$z=f(x,y)$，一个$z$对应一个$x$和一个$y$，那就有两个导数了，一个是$z$对$x$的导数，一个是$z$对$y$的导数,称之为偏导。
$$\left[\begin{array}{c}\frac{\partial z}{\partial x}\\ \\ \frac{\partial z}{\partial y}\end{array}\right]$$
（注意：在 $xOy$ 平面内，当动点由 $P(x_0,y_0)$沿不同方向变化时，函数 $f(x,y)$的变化快慢一般来说是不同的，因此就需要研究$f(x,y)$ 在$(x_0,y_0)$点处沿不同方向的变化率。在这里我们只学习函数$f(x,y)$沿着平行于$x$轴和平行于$y$轴两个特殊方位变动时，$f(x,y)$的变化率。）

而$n$元函数$f(x_1,x_2,\cdots ,x_n)$的梯度是一个长度为$n$的向量，向量中第$k$个元素为函数$f$对变量$x_k$的偏导数。

$$\left[\begin{array}{c}\frac{\partial f}{\partial x_1}\\ \frac{\partial f}{\partial x_2}\\ \dots \\ \frac{\partial f}{\partial x_n}\end{array}\right]$$

导数和偏导没有本质区别,都是当自变量的变化量趋于0时，函数值的变化量与自变量变化量比值的极限。

1. 什么是梯度下降法

梯度是一个向量，一个向量有大小和方向，梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的方向一直走，就能走到局部的最低点！

首先，当你已经用一个训练集，暂时训练出了一个初步的模型，之所以说暂时是因为你的模型还可以继续优化，可以得到更好的效果。

把一个样本扔给模型，模型给出预测值，预测值跟我们的真实值之间存在偏差，这个偏差称为损失。每一个样本都会有损失，m个样本对应一个总的损失。

高数里我们学了多元函数，知道求一个函数的极值点，通常找到其梯度为0的点，所以我们要先求损失函数的梯度。

梯度方向是一个函数增长最快的方向，那么梯度下降就是函数减小最快的方向，损失函数的每一个值，都对应有一组 $\theta$ ，所以在求我们最小损失函数的这个过程中，我们一直在不断地更新我们地 $\theta$。

2. 常见的三种梯度下降法

Batch gradient descent: Use all examples in each iteration；
批量梯度下降法（Batch Gradient Descent，简称BGD）是梯度下降法最原始的形式，每迭代一步，都要用到训练集所有的数据。

Stochastic gradient descent: Use 1 example in each iteration；
随机梯度下降法（Stochastic Gradient Descent，简称SGD），一轮迭代只用一条随机选取的数据，利用每个样本的损失函数对θ求偏导得到对应的梯度，来更新θ。

Mini-batch gradient descent: Use b examples in each iteration，小批量梯度下降法（Mini-batch Gradient Descent，简称MBGD）。SGD太极端，一次一条，为何不多几条？MBGD就是用一次迭代多条数据的方法

3. 梯度下降的具体步骤

首先，当你已经用一个训练集，暂时训练出了一个初步的模型，之所以说暂时是因为你的模型还可以继续优化，可以得到更好的效果。

把一个样本扔给模型，模型给出预测值，预测值跟我们的真实值之间存在偏差，这个偏差称为损失。每一个样本都会有损失，m个样本对应一个总的损失。

高数里我们学了多元函数，知道求一个函数的极值点，通常找到其梯度为0的点，所以我们要先求损失函数的梯度。

梯度方向是一个函数增长最快的方向，那么梯度下降就是函数减小最快的方向，损失函数的每一个值，都对应有一组 $\theta$ ，所以在求我们最小损失函数的这个过程中，我们一直在不断地更新我们地 $\theta$。

批量梯度下降法为例：

1.目标函数

.

2.定义损失函数

3.目的是最小化损失函数

4.求损失函数关于$\theta$ 的每一个分量的偏导数

5.更新 $\theta$ 的每一个分量 ${\theta }_j$：

6. 好了，这就完成了一次迭代！

一次迭代的输出结果就是一个$\theta$，$\theta$是一个向量,
$$\left[\begin{array}{c}{\theta }_1\\ {\theta }_2\\ \dots \\ {\theta }_j\\ \dots \\ {\theta }_n\end{array}\right]$$

7. 下一次迭代还会输出另一个新的$\theta$！