机器学习之——自动求导

作者：叶虎

小编：张欢

随机梯度下降法（SGD）是训练深度学习模型最常用的优化方法。在前期文章中我们讲了梯度是如何计算的，主要采用BP算法，或者说利用链式法则。但是深度学习模型是复杂多样的，你不大可能每次都要自己使用链式法则去计算梯度，然后采用硬编程的方式实现。

而目前的深度学习框架其都是实现了自动求梯度的功能，你只关注模型架构的设计，而不必关注模型背后的梯度是如何计算的。不过，我们还是想说一说自动求导是如何实现的。

这里我们会讲几种常见的方法，包括数值微分(Numerical Differentiation)，符号微分(Symbolic Differentiation)，前向模式（Forward Mode)和反向模式(Reverse Mode)。

数值微分

        数值微分方式应该是最直接而且简单的一种自动求导方式。从导数的定义中，我们可以直观看到：

       

当h接近0时，导数是可以近似计算出来的。可以看到上面的计算式几乎适用所