【激活函数】01——小白直觉篇

这是"激活函数"系列的第一篇。这篇文章不需要你有任何数学或编程基础，只要你听说过"神经网络"就够了。我们从最朴素的直觉出发，搞清楚激活函数到底在干什么、为什么重要。

一、为什么需要激活函数？

1.1 从一个具体问题说起

​ 假设你要教一个神经网络区分猫和狗的图片。你可能听说过，神经网络是"一层一层"堆起来的。那问题来了：堆更多层，网络就更强吗？

​ 答案是：不一定。如果每一层都只做线性变换，那堆再多层也没用。

1.2 什么是线性变换？

​ 先别被这个词吓到。线性变换就是"乘一个数再加一个数"，也就是你初中学过的：
$$y=wx+b$$
​ 一个神经元做的事情，本质就是这样：拿到输入 $x$，乘以权重 $w$，加上偏置 $b$，得到输出 $y$。

• 如果我们把两层这样的操作叠起来呢？

$$y=W_2(W_{1}x+b_1)+b_2=$$