6、神经网络入门：从基础单元到复杂架构

神经网络入门：从基础单元到复杂架构

1. 神经网络的主要特征

神经网络具有两个主要特征：
- 神经网络架构 ：描述了单元之间的连接方式，如前馈、循环、多层或单层等，还包括层数以及每层的单元数量。
- 学习 ：通常指的是训练过程。最常见但并非唯一的训练神经网络的方法是梯度下降（GD）和反向传播（BP）。

2. 神经网络的最小构建块——单元

单元是一种数学函数，其定义如下：
[y = f(\sum_{i = 1}^{n}x_{i}w_{i}+b)]
具体步骤如下：
1. 计算加权和 ：(\sum_{i = 1}^{n}x_{i}w_{i}+b)（也称为激活值）。其中：
- 输入 (x_{i}) 是数值，代表网络中其他单元的输出或输入数据本身的值。
- 权重 (w_{i}) 是数值，代表输入的强度或单元之间连接的强度。
- 权重 (b) 是一个特殊的权重，称为偏置，代表一个始终开启且值为 1 的输入单元。
也可以用向量表示 (x_{i}) 和 (w_{i})，即 (x=\vec{x}=[x_{1},x_{2},\cdots,x_{n}]) 和 (w = \vec{w}=[w_{1},w_{2},\cdots,w_{n}])，此时公式使用两个向量的点积：
[y = f(x\cdot w + b)=f(\vec{x}\cdot\vec{w}+b)]
2. 激活函数 ：加权和 (\sum_{i = 1}^{n}x_{i}w_{i}