72、自动微分与其他流行的人工神经网络架构介绍

自动微分与其他流行的人工神经网络架构介绍

1. 自动微分（Autodiff）

在机器学习和深度学习中，计算函数的导数是一项关键任务，特别是在使用梯度下降等优化算法时。下面将介绍几种计算导数的方法。

1.1 手动微分（Manual Differentiation）

手动微分是最基本的方法，即使用微积分知识，通过纸笔推导来计算函数的导数。以函数 (f(x, y) = x^2y + y + 2) 为例，计算其偏导数 (\frac{\partial f}{\partial x}) 和 (\frac{\partial f}{\partial y}) ，需要用到以下五条规则：
- 常数的导数为 0。
- (\lambda x) 的导数为 (\lambda)（(\lambda) 为常数）。
- (x^\lambda) 的导数为 (\lambda x^{\lambda - 1})，所以 (x^2) 的导数为 (2x)。
- 函数和的导数等于各函数导数的和。
- (\lambda) 乘以函数的导数等于 (\lambda) 乘以该函数的导数。

根据这些规则，可以推导出：
(\frac{\partial f}{\partial x} = \frac{\partial (x^2y)}{\partial x} + \frac{\partial y}{\partial x} + \frac{\partial 2}{\partial x} = y\frac{\partial (x^2)}{\partial x} + 0 + 0 = 2xy)
(\frac{\partial f}{\partial y} = \frac