Vectorization for Logistic Regression Gradient

使用内置函数通常要比使用for循环更快，所以能不用for循环就不要用！

1.Vectorization for logistic regression

import numpy as np
import time

w = np.random.rand(1000000)
x = np.random.rand(1000000)

#Vectorization version
tic = time.time()
z = np.dot(w,x)
toc = time.time()
print(z)
print("Vectorization :" + str(100*(toc-tic)) + "ms")

#loop version
z = 0
tic = time.time()
for i in range(1000000):
    z += w[i]*x[i]
toc = time.time()
print(z)
print("Loop: " + str(100*(toc-tic)) + "ms")

result:

250025.05451000776
Vectorization :0.07700920104980469ms
250025.05451001957
Loop: 62.82768249511719ms

以下这些内置函数对每个元素进行操作，避免了for循环

• np.exp(V)
• np.log(V)
• np.abs(V)
• np.maxinum(V,0)
• V**2
• 1/V

• 向量化将两个循环简化为一个循环，剩下一个循环是对m个样本的遍历。
  

• 将样本作为一个矩阵X输入，则没有显式for循环
  b是实数，广播b给每个向量
  Z= np.dot(w.T,X)+b

2.Vectorizing Logistic Regression’s Gradient Computation

向量化计算m个训练数据的梯度(同时计算）

• dz,dw,db的计算过程如下：
  
  
  $d{z}^{(i)}=a^{(i)}-y^{(i)}$
  $dw=x^{(i)}(a^{(i)}-y^{(i)})=x^{(i)}d{z}^{(i)}$
  $db=a-y=dz$

• 可以用这种方式对反向传播进行向量化：
  

---

最后没有显式使用for循环实现了一次梯度下降，但是如果要实现多次迭代，那么还是需要循环的。