一、简述
这里主要介绍了TensorFlow的自动微分(autodiff)功能如何工作,以及与其他解决方案的比较。假设您定义了一个函数,并且需要计算它的偏导数
和
,通常用于执行梯度下降(或某些其他优化算法)。可用的主要选择是手动微分、有限差分近似、正向模式自动微分和反向模式自动微分。
TensorFlow实现了反向模式autodiff,但要理解它,建议全面了解一下主要的方法。让我们从手动微分开始。
二、手动微分
这里主要介绍了TensorFlow的自动微分(autodiff)功能如何工作,以及与其他解决方案的比较。假设您定义了一个函数,并且需要计算它的偏导数
和
,通常用于执行梯度下降(或某些其他优化算法)。可用的主要选择是手动微分、有限差分近似、正向模式自动微分和反向模式自动微分。
TensorFlow实现了反向模式autodiff,但要理解它,建议全面了解一下主要的方法。让我们从手动微分开始。