深度学习与神经网络学习笔记（三）

四、logistic 回归中的梯度下降

  我们一般可以通过图中的方式来进行损失函数的求解，而损失函数是怎么反向影响$(ω,b)$的值的变化的呢？这就要用到导数的知识了，首先我们把损失函数对a求导：

$d(a)=\frac{dL(a,y)}{d(a)}=-\frac{y}{a}+\frac{1-y}{1-a}$

  然后再对$z$求导：

$d(z)=\frac{dL(a,y)}{d(z)}=\frac{dL(a,y)}{d(a)}\frac{d(a)}{d(z)}=a-y$

  最后我们分别对各个参数求导就可以得到：

$d(ω_1)=\frac{∂L}{∂ω_1}=x_1d(z)$
$d(ω_2)=\frac{∂L}{∂ω_2}=x_2d(z)$
$d(b)=\frac{∂L}{∂b}=d(z)$

  由此可知，这样一个样本的一次梯度更新的步骤就是这样，更新函数为：

$$\begin{Bmatrix}ω_1:=ω_1-αd(ω_1)\\ ω_2:=ω_2-αd(ω_2)\\ b:=b-αd(b)\end{Bmatrix}$$

  现在我们如果把样本扩展到m个的话，那么对应的各个函数就会变为：

$J(ω,b)=\frac{1}{m}\sum_{i=1}^mL(a^{(i)},y^{(i)})$

$a^{(i)}=\hat y^{(i)}=σ(z^{(i)})=σ(ω^Tx^{(i)}+b)$

$\frac{∂J(ω,b)}{∂ω_i}=\frac{1}{m}\sum_{i=1}^m\frac{∂L(a^{(i)},y^{(i)})}{∂ω_i}$

  接下来，我们将会通过实例的代码来做出这一系列的运算，首先我们把我们要写的代码的顺序理一下：

$J=0$  $d(ω_1)=0$  $d(ω_2)=0$  $d(b)=0$
$for$ $i=1$ $to$ $m$:

  $z^{(i)}=ω^Tx^{(i)}+b$    （1）

  $a^{(i)}=σ(z^{(i)})$    （2）

  $J+=-[y^{(i)}loga^{(i)}+(1-y^{(i)})log(1-a^{(i)})]$    （3）

  $d(z^{(i)})=a^{(i)}-y^{(i)}$    （4）

  $d(ω_1)+=x_1^{(i)}d(z^{(i)})$    （5）

  $d(ω_2)+=x_2^{(i)}d(z^{(i)})$    （6）

  $d(b)+=d(z^{(i)})$    （7）

  $J/=m$ $d(ω_1)/=m$ $d(ω_2)/=m$ $d(b)/=m$

  更新函数同上面的更新函数，这里我们只有三个参数，但是实际上是有非常多的参数的，在实际中我们肯定要对（4）-（7）式进行循环求解的，循环次数取决于参数个数，因为这里只有三个，所以我们就分别罗列出来了。实际的编写中我们多采用向量化来统一存储参数值和样本值，下一节将会讲解。

五、向量化求解

  其实向量化求解就是减少循环的一种方式，这样减少循环不仅能够节省时间，还会得到一模一样的值出来，并且这样的方式能够缩短到循环的1/50的时间，这个就是python的numpy库，相信向量都知道是怎么回事，这个库的具体使用可以参照网上的使用手册。这里我就写出向量化之后代码的实现过程：

$这里初始化的参数、变量都是一个向量：ω，b是一个0向量;X,Y是一个样本给定的值向量$

$z=ω^TX+b=np.dot(ω.T,x)+b$

$A=σ(z)$

$dz=A-Y$

$dw=\frac{1}{m}Xdz^T$

$db=\frac{1}{m}np.sum(dz)$

$ω:=ω-αdw$

$b:=b-αdb$

这就是一次迭代的过程，但是如果要进行多次迭代的话，我们还是要运用循环的方式，这是不可避免的。