17、深入理解人工神经元与 PyTorch nn 模块

深入理解人工神经元与 PyTorch nn 模块

1. 人工神经元与激活函数

1.1 人工神经元示例

在识别对象是否为狗的场景中，垃圾车会被标记为“不是狗”，好狗会被映射为“显然是狗”，而熊则处于中间状态。我们可以通过代码查看具体数值：

>>> import math
>>> math.tanh(-2.2)
-0.9757431300314515
>>> math.tanh(0.1)
0.09966799462495582
>>> math.tanh(2.5)
0.9866142981514303

熊处于敏感范围内，对熊的微小改变会导致结果有明显变化。例如，从灰熊换成北极熊（其面部更像传统犬类），结果会在 Y 轴上上升；而考拉熊则会被认为更不像狗，激活输出会下降。但对于垃圾车，无论怎么改变，它都很难被识别为狗，即使有大幅改变，数值可能也只是从 -0.97 变为 -0.8 左右。

1.2 更多激活函数

常见的激活函数有很多，如下表所示：
| 类型 | 激活函数 |
| ---- | ---- |
| 平滑函数 | Tanh、Softplus |
| “硬”版本函数 | Hardtanh、ReLU |
| 其他 | Sigmoid、LeakyReLU |

其中，ReLU（修正线性单元）目前被认为是性能最好的通用激活函数之一，许多先进的研究成果都使用了它。Sigmoid 激活函数（也称为逻辑函数）在早