神经网络基础--1.8 向量化Logistic回归的梯度输出及小结

在1.7 向量化在Logistic回归梯度下降法中的应用（正向传播）中记录了如何通过向量化同时计算整个训练集m个样本的预测值a，本节中描述如何用向量化计算m个训练数据的梯度

原本计算梯度：
$d{z}^1=a^1-y^1,d{z}^2=a^2-y^2....d{z}^m=a^m-y^m$

向量化：

• 现定义一个1×m的矩阵：$dZ=[d{z}^1,d{z}^2....d{z}^m]$

• 在上一节1.7中，定义过：$A=[a^1,a^2....a^m]$

• 定义：$Y=[y^1,y^2....y^m]$

• 基于以上定义，z的计算可以用一行代码实现：
  $dZ=A-Y=[a^1-y^1,a^2-y^2...a^m-y^m]$
  矩阵中的每一个元素就是原本计算梯度中对应的每一个式子
  
  

在1.7中实现了对下图中下方的for循环向量化，将dw化为一个向量，目前还存在上面那个对训练集遍历的for循环

之前for循环的实现过程：

$dw=0$                                  $db=0$
$dw+=x^{1}d{z}^1$                      $db+=d{z}^1$
$dw+=x^{2}d{z}^2$                      $db+=d{z}^2$
…                                            …
…                                            …
$dw/=m$                              $db/=m$

现在针对上述过程进行向量化：
处理db：

• $$db=\frac{1}{m}\sum _{i=1}^{m}d{z}^i$$
• 所有的dz组成了一个行向量$dZ=A-Y=[a^1-y^1,a^2-y^2...a^m-y^m]$
  Python中实现：$\frac{1}{m}np.sum(dZ)$，只需要把dZ这个变量传给np.sum函数就可以得到db

处理dw：

• $$dw=\frac{1}{m}Xd{Z}^T$$
                                        

小结

回顾1.7和本节内容，总结如何实现一个logistic回归

一次高度向量化的迭代：
Z=w^TX+b=np.dot(w.T,X)+b
A=$\sigma$(Z)
dZ=A-Y
dw=$\frac{1}{m}$XdZ^T
db=$\frac{1}{m}$ np.sum(dZ)

w:=w-αdw
b:b-αdb

如果要实现多次迭代，要在最前面加for循环，这个循环目前无法简化