深度学习直通车——附录

附录：速查手册 (Appendix: Cheat Sheets)

附录A：常用公式速查表 (Common Formulas Quick Reference)

本附录汇总了深度学习中最核心的公式，覆盖了激活函数、损失函数和优化器三大模块。请务必理解每个公式的含义、应用场景及其优缺点。

1. 激活函数 (Activation Functions)

函数名称 (Name)	公式 (Formula)	导数 (Derivative)	优点 & 缺点
Sigmoid	$\sigma (x)=\frac{1}{1+e^{-x}}$	${\sigma }^{\prime }(x)=\sigma (x)(1-\sigma (x))$	优点: 平滑、易于求导。 缺点: ① 梯度消失：当输入过大或过小时，导数趋近于0。② 输出非零中心：输出恒大于0，导致后续层接收的是非零均值的信号，影响收敛。
Tanh	$\tanh (x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$	${\tanh }^{\prime }(x)=1-{\tanh }^2(x)$	优点: ① 输出零中心：输出范围为(-1, 1)，收敛速度比Sigmoid快。 缺点: 仍然存在梯度消失问题。
ReLU (Rectified Linear Unit)	$\text{ReLU}(x)=\max (0,x)$	${\text{ReLU}}^{\prime }(x)=\{\begin{array}{ll}1& x>0\\ 0& x\le 0\end{array}$	优点: ① 计算高效：计算简单。② 缓解梯度消失：在正区间梯度为1。③ 稀疏性。 缺点: ① 神经元死亡 (Dying ReLU)：如果输入恒为负，该神经元梯度永远为0。② 输出非零中心。
Leaky ReLU	$f(x)=\{\begin{array}{ll}x& x>0\\ \alpha x& x\le 0\end{array}$ ($\alpha$ 是一个小的正常数，如0.01)	$f^{\prime }(x)=\{\begin{array}{ll}1& x>0\\ \alpha & x\le 0\end{array}$	优点: 试图解决Dying ReLU问题，允许负值输入时有微小的梯度。 缺点: 性能不一定总是优于ReLU。$\alpha$ 值的选择是个超参数。
Softmax	$\text{Softmax}(z_i)=\frac{e^{z_i}}{{\sum }_{j=1}^C{e}^{z_j}}$	-	优点: 将一个向量转换为概率分布，所有输出之和为1。通常用于多分类问题的输出层。 缺点: 计算相对复杂，且只适用于互斥类别的分类。

2. 损失函数 (Loss Functions)

函数名称 (Name)	公式 (Formula)	主要应用场景
均方误差 (MSE) Mean Squared Error	$L(y,\hat{y})=\frac{1}{N}{\sum }_{i=1}^N(y_i-{\hat{y}}_i{)}^2$	回归问题 (Regression)。对异常值（outliers）非常敏感。
交叉熵 (Cross-Entropy)	-	-
二元交叉熵 (Binary Cross-Entropy)	$L(y,\hat{y})=-[y\log (\hat{y})+(1-y)\log (1-\hat{y})]$	二分类问题 (Binary Classification)。通常与 Sigmoid 激活函数配合使用。
分类交叉熵 (Categorical Cross-Entropy)	$L(y,\hat{y})=-{\sum }_{c=1}^C{y}_c\log (y$