深度学习（二）向量化 Logistic 回归及其梯度输出

最新推荐文章于 2025-06-26 07:42:13 发布

原创

最新推荐文章于 2025-06-26 07:42:13 发布 · 1.5k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #Logistic回归 #向量化

概述

本篇属于理论篇，你将了解什么是向量化、向量化对神经网络训练优化的重要性，以及如何向量化 Logistic 回归及其梯度输出。

在这里插入图片描述

转自猴开发博客：深度学习（二）向量化 Logistic 回归及其梯度输出

2.0 向量化概述

在前面，你已经认识了 Logistic 回归，并且对梯度下降以及梯度下降是如何工作的有了一个具体的认知。如果你有认真阅读第一篇的话，相信你还记得在第一篇中曾经提到过一个矩阵 $X$ ，它表示将所有的输入样本在水平方向上堆叠起来，也就是下面这个样子：

在这里插入图片描述

为了在后面方便说明，这里将每一个输入样本的下标也标示出来，这样你将看到公式(1)更加完整的形式：

在这里插入图片描述

为了确保你明白公式(2)中每一个角标的含义，在这里特别说明一下，使用小括号括起来的上标表示的是样本的编号，而没有用括号括起来的下标代表的是样本的某一个输入，例如对于符号 $x^{(2)}_{n_x}$ ，它所代表的是训练集中第2个训练样本的第 $n_x$ 个输入，因为 $n_x$ 是指输入的总个数，所以 $x^{(2)}_{n_x}$ 表示的就是第2个训练样本的最后一个输入。

将原本独立的一个个样本组合在一起，构成一个新的矩阵，其实这就是向量化。你可能要问，在上篇中已经实现了 Logistic 回归，使用 $x$ 表示单个样本，在对所有样本逐个计算就足够了，为什么还要使用向量化引入一个样本矩阵 $X$ ？

2.1 非向量化与向量化实例

试想，如果给你一个给你 1000000 个数据 $a_1$ ~ $a_{1000000}$ ，以及 1000000 个数据 $b_1$ ~ $b_{1000000}$ ，要你求每一对 $a_i$ 和 $b_i$ 相乘的结果的总和 $c$ ，你会怎么做？

在接触向量化之前，你应该会想到使用 for 循环，将 $a_i$ 与 $b_i$ 的乘积依次相加，就可以得到结果 $c$ 了，我们来试一下。

使用 for 循环

import numpy as np
import time as t

# 生成 1000000 随机数据
a = np.random.rand(1000000)
b = np.random.rand(1000000)

# for 循环版本
c = 0

# 开始计时
startTime = t.time()

# 循环计算
for i in range(1000000):
    c += a[i]*b[i]
    
# 停止计时
deltaTime = t.time() - startTime

# 输出结果与耗时情况
print("计算结果：" + str(c) + ", for 循环计算耗时：" + str(1000 * deltaTime) + "ms")

以上是使用 for 循环完成要求计算的 python 代码，输出结果是：

计算结果：249879.05298545936, for 循环计算耗时：519.999980927ms

使用向量化

# 向量化版本
c = 0

# 开始计时
startTime = t.time()

#矩阵计算
c = np.dot(a,b)

# 停止计时
deltaTime = t.time() - startTime

# 输出结果与耗时情况
print("计算结果：" + str(c) + ", 矩阵计算耗时：" + str(1000 * deltaTime) + "ms")

以上是使用向量化完成要求计算的 python 代码，输出结果是：

计算结果：249879.05298545936, 矩阵计算耗时：0.999927520752ms

进行多次计算，可以绘制出 for 循环与向量化计算的耗时对比图：

在这里插入图片描述

图 1-1 for 循环与向量化计算耗时对比

实在是令人惊喜，正如你所看到的，向量化版本没有使用 for 循环就正确完成了所有计算，并且计算的代码量只有一行，而仅针对简单的乘法与加法运算而言，向量化计算的效率就要比 for 循环高出 500 倍上下，在其他更加复杂的运算下，这个差距还会拉得更大。可以看到，无论从简洁性还是从效率的角度讲，向量化计算几乎是完美的。

因此，不管是在什么算法当中，如果能够不使用 for 循环就尽量不要使用 for 循环，其效率实在是太糟糕了。在神经网络的训练过程中，效率显得尤为重要，面对数量巨大的训练样本，向量化你的模型是非常有必要的，它能够大量地节约你的时间去做更多的训练，或是做参数的调整。