5种神经网络常见的求导！

关注

转载最新推荐文章于 2026-10-08 09:31:24 发布 580 阅读 AI 写同款· GEO 优化 ›

图神经网络的实现,神经网络框架图经过激活函数f（u）的作用得到隐含层1的输出信息：岩溶地区地下水与环境的特殊性研究经过激活函数f（u）的作用得到隐含层2的输出信息：岩溶地区地下水与环境的特殊性研究激活函数f（u）我们这里采用Sigmoid型，即f（u）=1/[1+exp（-u）]（6.5）隐含层的输出信息传到输出层，可得到最终输出结果为岩溶地区地下水与环境的特殊性研究以上过程为网络学习的信息正向传播过程。第二步：将已知的样本加到网络上，利用下式可算出他们的输出值yi，其值为岩溶地区地下水与环境的特殊性研究式中：xi为该节点的输入；... 阅读详情

作者丨Criss
来源丨机器学习与生成对抗网络
编辑丨极市平台

极市导读

本文总结了神经网络当中常见的5中求导，并附有详细的公式过程。

derivative of softmax

1.1 derivative of softmax

一般来说，分类模型的最后一层都是softmax层，假设我们有一个分类问题，那对应的softmax层结构如下图所示（一般认为输出的结果即为输入属于第i类的概率）：

假设给定训练集，分类模型的目标是最大化对数似然函数，即

通常来说，我们采取的优化方法都是gradient based的（e.g., SGD），也就是说，需要求解。而我们只要求得，之后根据链式法则，就可以求得，因此我们的核心在于求解，即

由上式可知，我们只需要知道各个样本的，即可通过求和求得，进而通过链式法则求得。因此下面省略样本下标j，仅讨论某个样本。

实际上对于如何表示属于第几个类，有两种比较直观的方法：

一种是直接法（i.e., 用来表示x属于第3类），则，其中为指示函数；
另一种是one-hot法（i.e., 用来表示x属于第三类），则，其中为向量的第个元素。
p.s., 也可以将one-hot法理解为直接法的实现形式，因为one-hot向量实际上就是。

为了方便，本文采用one-hot法。于是，我们有：

1.2 softmax & sigmoid

再补充一下softmax与sigmoid的联系。当分类问题是二分类的时候，我们一般使用sigmoid function作为输出层，表示输入属于第1类的概率，即

然后利用概率和为1来求解属于第2类的概率，即

乍一看会觉得用sigmoid做二分类跟用softmax做二分类不一样：

在用softmax时，output的维数跟类的数量一致，而用sigmoid时，output的维数比类的数量少；
在用softmax时，各类的概率表达式跟sigmoid中的表达式不相同。

但实际上，用sigmoid做二分类跟用softmax做二分类是等价的。我们可以让sigmoid的output维数跟类的数量一致，并且在形式上逼近softmax。

通过上述变化，sigmoid跟softmax已经很相似了，只不过sigmoid的input的第二个元素恒等于0（i.e., intput为），而softmax的input为，下面就来说明这两者存在一个mapping的关系（i.e., 每一个都可以找到一个对应的来表示相同的softmax结果。不过值得注意的是，反过来并不成立，也就是说并不是每个仅仅对应一个）。

因此，用sigmoid做二分类跟用softmax做二分类是等价的。

02 backpropagation

一般来说，在train一个神经网络时（i.e., 更新网络的参数），我们都需要loss function对各参数的gradient，backpropagation就是求解gradient的一种方法。

假设我们有一个如上图所示的神经网络，我们想求损失函数对的gradient，那么根据链式法则，我们有

而我们可以很容易得到上述式子右边的第二项，因为，所以有

其中，是上层的输出。

而对于式子右边的的第一项，可以进一步拆分得到

我们很容易得到上式右边第二项，因为，而激活函数（e.g., sigmoid function）是我们自己定义的，所以有

其中，是本层的线性输出（未经激活函数）。

观察上图，我们根据链式法则可以得到

其中，根据可知

和的值是已知的，因此，我们离目标仅差和了。接下来我们采用动态规划（或者说递归）的思路，假设下一层的和是已知的，那么我们只需要最后一层的graident，就可以求得各层的gradient了。而通过softmax的例子，我们知道最后一层的gradient确实可求，因此只要从最后一层开始，逐层向前，即可求得各层gradient。