34、神经网络训练：从基础到高效算法

神经网络训练：从基础到高效算法

1. 激活函数与Softmax

在神经网络中，激活函数起着至关重要的作用。人工神经元会将每个输入值与相应的权重相乘，然后将结果相加，最后通过激活函数处理。激活函数一般是非线性的，这一特性避免了网络退化为单个神经元。

Softmax是一种常见的激活函数，它能将神经网络的输出转化为类别概率。Softmax具有保序性，即输入从大到小排序后，输出也会有类似的排序。不过，当某些输入值大于1时，最大的值会更加突出，Softmax会放大最大值输出的影响，甚至可以说它会“压制”其他值，让最大值更明显地主导结果。

输入范围对Softmax的输出影响很大，其表现取决于输入值是否都小于1、都大于1或者是混合的。例如：
|输入范围|表现|
| ---- | ---- |
|所有输入都小于1，范围在[0, 0.8]|输出相对均衡|
|所有输入都大于1，范围在[0, 8]|最大值对应的输出会明显主导其他值|
|输入既有小于1又有大于1的，范围在[0, 3]|放大效果介于前两者之间|

无论哪种情况，Softmax输出的概率都在0到1之间，且总和为1。

2. 神经网络基础

真实的生物神经元是复杂的神经细胞，通过化学、电和机械过程处理信息。受其启发，我们创造了人工神经元。人工神经元网络通常是有向无环图（DAG），信息单向流动，没有神经元会将自己的输出作为输入，神经元之间相互连接。输入数据从一端进入，网络结果从另一端输出。

如果在构建网络时不注意，整个网络可能会退化为单个神经元。为避免这种情况，我们使用激活函数，它能将每个神经元的输出转换为新的数值。