34、神经网络训练与反向传播算法详解

神经网络训练与反向传播算法详解

1. 激活函数与 Softmax

在神经网络中，激活函数起着至关重要的作用。其中，Softmax 函数是一种常用的激活函数，它具有独特的性质。Softmax 函数会保留输入的顺序，即如果将输入从大到小排序，输出也会呈现类似的排序。不过，当某些输入值大于 1 时，最大的值会更加突出，我们说 Softmax 函数会放大最大值的影响，有时也会抑制其他值，使最大值更明显地主导输出。

输入范围对 Softmax 函数的输出有很大影响。当输入值都小于 1 时，输出的差异相对较小；当输入值都大于 1 时，输出的差异会被放大，最大值会更加突出；当输入值既有小于 1 的，也有大于 1 的时，放大效果介于前两种情况之间。但无论如何，Softmax 函数返回的都是介于 0 到 1 之间的概率值，且这些概率值的总和为 1。

输入范围	输出特点
都小于 1（如 [0, 0.8]）	输出差异相对较小
都大于 1（如 [0, 8]）	输出差异被放大，最大值更突出
既有小于 1 又有大于 1（如 [0, 3]）	放大效果介于前两者之间

2. 人工神经网络基础

生物神经元是通过复杂的化学、电气和机械过程来处理信