32、神经网络训练与反向传播算法详解

神经网络训练与反向传播算法详解

1. Softmax函数特性

Softmax函数在神经网络中有着重要的作用。当输入处于不同范围时，它会呈现出不同的特性：
- 输入均小于1 ：在输入值都小于1，范围在[0, 0.8]时，Softmax函数会将输入转换为概率值，这些概率值都在0到1之间，且总和为1。
- 输入均大于1 ：当输入值都大于1，范围在[0, 8]时，Softmax函数会放大输出之间的差异。例如，若对应8的输出值D，它会明显大于其他输出值，这样就更容易挑选出最大的输出。
- 输入有大于1也有小于1 ：当输入值范围在[0, 3]，既有大于1的值也有小于1的值时，Softmax函数的放大效果介于上述两种情况之间。

无论输入处于何种情况，Softmax函数都会保证输出是概率值，且输入的顺序会被保留，即输入从大到小的顺序对应着输出从大到小的顺序。

2. 人工神经网络基础

生物神经元是通过复杂的化学、电气和机械过程来处理信息的神经细胞。受此启发，我们有了人工神经元。人工神经元会将每个输入值乘以对应的权重，然后将结果相加，最后通过激活函数处理。

人工神经元可以组成网络，通常这些网络是有向无环图（DAG），具有以下特点：
- 有向性 ：信息只朝一个方向流动。
- 无环性 ：没有神经元会将自己的输出作为输入。
- 图结构 ：神经元之间相互连接。