PyTorch深度学习项目：反向传播梯度计算与实用技巧解析

PyTorch深度学习项目：反向传播梯度计算与实用技巧解析

NYU-DLSP20 NYU Deep Learning Spring 2020 项目地址: https://gitcode.com/gh_mirrors/pyt/pytorch-Deep-Learning

引言

在深度学习领域，理解反向传播算法和掌握神经网络模块的梯度计算是构建高效模型的基础。本文将深入探讨PyTorch深度学习框架中的核心概念，包括反向传播的具体实现、常用神经网络模块的梯度计算，以及训练过程中的实用技巧。

反向传播的具体实例

计算图与梯度传播

考虑一个具体例子：将任意函数G(w)输入到代价函数C中，可以表示为计算图。通过雅可比矩阵的乘法运算，我们可以将这个前向计算图转换为能够反向传播梯度的导数计算图。

在示例中，梯度计算遵循链式法则： $$ \frac{\partial C(y,\bar{y})}{\partial w}=1 \cdot \frac{\partial C(y,\bar{y})}{\partial\bar{y}}\cdot\frac{\partial G(x,w)}{\partial w} $$

维度分析：

• $\frac{\partial C(y,\bar{y})}{\partial w}$是$1×N$的行向量（N为w的维度）
• $\frac{\partial C(y,\bar{y})}{\partial \bar{y}}$是$1×M$的行向量（M为输出维度）
• $\frac{\partial G(x,w)}{\partial w}$是$M×N$的矩阵

数据依赖架构的挑战

当计算图架构不是固定的而是数据依赖时，会出现复杂情况。例如，根据输入向量长度选择不同的神经网络模块。虽然可行，但当循环次数过多时，管理这种变化会变得非常困难。

基本神经网络模块的梯度计算

1. 线性模块（Linear）

公式：$Y=W·X$

梯度计算： $$ \begin{aligned} \frac{dC}{dX} &= W^\top \cdot \frac{dC}{dY} \ \frac{dC}{dW} &= \frac{dC}{dY} \cdot X^\top \end{aligned} $$

2. ReLU激活函数

公式：$y=(x)^+$

梯度计算： $$ \frac{dC}{dX} = \begin{cases} 0 & x<0\ \frac{dC}{dY} & \text{否则} \end{cases} $$

3. 复制模块（Duplicate）

功能：将输入复制为两个相同输出（类似Y型分流器）

反向传播时梯度相加： $$ \frac{dC}{dX}=\frac{dC}{dY_1}+\frac{dC}{dY_2} $$

可扩展为n个分支

4. 加法模块（Add）

公式：$Y=X_1+X_2$

梯度计算： $$ \frac{dC}{dX_1}=\frac{dC}{dY}\cdot1 \quad \text{和}\quad \frac{dC}{dX_2}=\frac{dC}{dY}\cdot1 $$

5. 最大值模块（Max）

公式：$Y=\max(X_1,X_2)$

梯度计算： $$ \frac{dC}{dX_1}=\begin{cases} \frac{dC}{dY}\cdot1 & X_1 > X_2 \ 0 & \text{否则} \end{cases} $$

LogSoftMax与SoftMax比较

SoftMax的问题

SoftMax将一组数字转换为0到1之间的正数且和为1的概率分布： $$ y_i = \frac{\exp(x_i)}{\sum_j \exp(x_j)} $$

但存在梯度消失问题，特别是当输入值很大或很小时，梯度会趋近于0，阻碍网络进一步训练。

LogSoftMax解决方案

结合softmax和对数运算： $$ \log(y_i )= x_i - \log(\Sigma_j \exp(x_j)) $$

另一种形式： $$ \log\left(\frac{\exp(s)}{\exp(s) + 1}\right)= s - \log(1 + \exp(s)) $$

LogSoftMax避免了饱和问题，有效解决了梯度消失问题。

反向传播实用技巧

1. 激活函数选择

使用ReLU作为非线性激活函数效果最佳，因其单一转折点使其具有尺度等变性。

2. 分类问题损失函数

使用交叉熵损失作为目标函数，LogSoftmax是交叉熵损失的特例。

3. 小批量训练

使用小批量随机梯度下降提高训练效率，避免在每个步骤计算全部数据的损失。

4. 数据洗牌

训练时打乱样本顺序，确保每个小批量包含各类样本，防止模型仅学习预测当前批次中的类别。

5. 输入标准化

训练前将每个输入特征归一化为零均值和单位方差。对于RGB图像，可对每个通道单独归一化： $$ b_{[i,j]}^{'} = \frac{b_{[i,j]} - m_b}{\max(\sigma_b, \epsilon)} $$

6. 学习率调整

使用学习率调度策略，随着训练进行逐渐降低学习率。高级优化算法如Adam可自动调整学习率。

7. 正则化

使用L1/L2正则化进行权重衰减：

• L2正则化：$L(S, w) = C(S, w) + \alpha \Vert w \Vert^2$
• L1正则化（Lasso）：使用$\sum_i \vert w_i\vert$

L1正则化可将不重要的权重缩小至0。

8. 权重初始化

权重应随机初始化，保持输出与输入大致相同的方差。Kaiming初始化对深层模型效果良好，权重标准差与输入数量的平方根成反比。

9. Dropout正则化

Dropout可视为另一种神经网络层：随机将n/2的输入置零，迫使系统从所有输入单元获取信息，而不是过度依赖少量单元。

总结

反向传播不仅适用于堆叠模型，任何有向无环图（DAG）只要模块间存在偏序关系都可应用。掌握这些核心概念和实用技巧，将有助于构建更高效、更稳定的深度学习模型。

NYU-DLSP20 NYU Deep Learning Spring 2020 项目地址: https://gitcode.com/gh_mirrors/pyt/pytorch-Deep-Learning