Pytorch中哪些操作是不可微的，构建前向计算图时需要特加注意

PyTorch中那些神秘的“黑洞”——不可微操作与构建前向计算图的那些事儿

在深度学习领域，PyTorch凭借其动态图计算机制、简洁直观的API设计以及强大的社区支持，迅速成为研究者和开发者们手中的利器。但即便是这样一款强大而灵活的工具，依然存在一些操作上的“禁区”，即所谓的“不可微”操作。这些操作在构建神经网络模型时，尤其是涉及到自动梯度计算的反向传播过程时，可能给我们的训练流程带来不小的麻烦。今天，就让我们一起揭开这些神秘“黑洞”的面纱，探索它们的成因，并且看看在构建前向计算图时应如何规避潜在的风险。

一、不可微操作概述

所谓“不可微”操作，在数学上通常指的是函数在某一点或者某一区间内不存在导数的情形。在神经网络中，“不可微”则意味着该操作无法被自动求导机制正确处理，这直接影响到模型的学习能力。对于使用PyTorch进行开发的人来说，理解哪些常见的操作会导致“不可微”是非常重要的，因为这关系到模型能否顺利地通过反向传播来进行参数更新。

1. 阶跃函数（Step Function）

最典型的例子就是阶跃函数。阶跃函数是一个不连续的函数，它在特定值处突然从一个常数值跳变到另一个常数值。这种突变使得函数在跳变点上没有定义良好的导数，因此无法用于训练需要连续可微性的模型。

import torch
x = torch.tensor([[-1, 0], [1, 2