20、神经网络与深度学习

神经网络与深度学习

1. 神经网络的基本结构和工作原理

神经网络是模拟人脑神经元之间连接机制的一种计算模型。它由多个神经元（节点）组成，这些神经元通过加权连接相互传递信息。神经网络的核心在于其层次结构，每一层中的神经元接收来自前一层的输入，并将处理后的信号传递给下一层。最终，输出层产生模型的预测结果。

1.1 神经元与激活函数

一个典型的神经元接收多个输入信号，每个信号都有对应的权重，表示该信号的重要性。这些加权输入信号相加后，再通过激活函数进行非线性变换。常用的激活函数包括：

• Sigmoid ：将输入压缩到 (0, 1) 区间，适用于二分类问题。
• ReLU （Rectified Linear Unit）：将所有负值设为0，保持正值不变，广泛用于各种任务。
• Tanh ：将输入压缩到 (-1, 1) 区间，适用于需要双向输出的任务。

激活函数	表达式	适用场景
Sigmoid	( \sigma(x) = \frac{1}{1 + e^{-x}} )	二分类问题
ReLU	( f(x) = \max(0, x)