11、深度学习中的神经网络关键要素解析

深度学习中的神经网络关键要素解析

1. 权重连接

权重也被称为系数或输入乘数。每个输入到神经元的特征都会与一个权重相乘。从图形上看，从输入到神经元的每个连接都与一条带权重的线相连，这条线表示该特征在预测我们试图建模的结果时的贡献。权重越高，特征的贡献就越大；如果权重为负，特征会产生负面影响；如果权重为零，该输入特征就不重要，可以从训练集中移除。

神经网络的训练目标是为所有层的输入特征和神经元之间的每个连接确定最优权重。如果网络中包含偏置，学习过程还涉及确定最优的偏置值。

2. 激活函数

激活函数是决定神经元输出的数学函数。神经元根据线性方程处理输入，但神经元的输出并非该线性方程的结果，而是激活函数对线性方程计算出的 z 值进行处理后得到的。激活函数根据神经元的输入是否与模型预测相关，来决定该神经元是否应该被激活，并将每个神经元的输出归一化到 0 到 1 或 -1 到 1 的范围内。

常见的激活函数如下：
| 激活函数名称 | 公式 | 优点 | 缺点 | 适用场景 |
| — | — | — | — | — |
| 线性激活函数 | 无（简单线性关系） | 无 | 1. 不适合反向传播更新权重；2. 使网络退化为单层，只能学习线性依赖关系，不适合解决复杂问题 | 无（深度学习中基本不用） |
| Sigmoid 或 Logistic 激活函数 | ( \sigma(z)=\frac{1}{1 + e^{-z}} ) | 输出范围在 0 到 1 之间，可表示概率 | 对于大或小的输入值，输出变化不大，不适合特征向量包含大或小值的情况 | 可通过归一化特征向量来使用 |
| 双曲正切函数（T