自定义前向与反向传播：torch.autograd.Function

1. 引言

在现代深度学习框架中，自动求导机制是模型训练的核心技术之一。PyTorch 的 torch.autograd 提供了一种强大的方式来实现这一机制，帮助开发者在前向传播后自动计算梯度。然而，尽管 PyTorch 提供了丰富的自动求导支持，有时我们可能会遇到一些特殊操作，这些操作无法依赖 PyTorch 的自动求导。这时，我们就需要使用 torch.autograd.Function 来自定义前向和反向传播逻辑，从而适应模型的独特需求。

1.1 PyTorch 自动求导机制简介

PyTorch 的核心自动求导工具 torch.autograd 使用了一种基于动态计算图的机制。当你在 Tensor 上调用操作时，PyTorch 会根据这些操作动态地构建一个有向无环图（DAG）。在这个图中，叶子节点表示输入张量，根节点则是输出张量。每个节点都表示一个操作，而 autograd 通过从根节点回溯（backpropagation），逐步计算各个节点的梯度。

PyTorch 自动求导的强大之处在于其动态计算图构建方式。在前向传播期间，每当执行一次操作，PyTorch 就会创建相应的计算图，