15、神经网络入门与基础构建

神经网络入门与基础构建

1. 神经网络基础概念

1.1 网络层次与连接

神经网络由不同的层组成，每一层都有其独特的权重。层的编号通常从输入层开始计数，输入层之后的第一层隐藏层为第 2 层。不同层之间的单元数量决定了连接的数量，连接数量的计算公式为：连接数量(l) = 单元数量(l) * 单元数量(l + 1)。

连接通常用权重矩阵表示，这里用大写字母 W 表示。例如，W1 表示从第 1 层到第 2 层的连接权重，W2 表示从第 2 层到第 3 层的连接权重，以此类推。权重代表了网络中神经元之间连接的强度，较小的权重意味着该连接对最终预测的影响较小，而较大的正或负权重则会显著影响下一层接收的值，从而改变某些预测。

1.2 输入与输出表示

在神经网络中，输入和输出有不同的表示方式：
- a ：单元经过激活函数 g 处理后存储的结果，这是进一步在网络中传递的最终输出。
- z ：a 与权重矩阵 W 中权重的乘积，代表通过连接传递的信号，类似于水管中根据管径大小以不同压力流动的水。

1.3 前馈过程

神经网络中各层单元逐步处理从特征中获取的值，就像传送带上的物品一样。数据在网络中传输时，每个单元接收到的值是前一层值的加权和，当加上偏置后的数据超过某个阈值时，激活函数会增加单元中存储的值；否则，会减弱信号。经过激活函数处理后，结果会传递到下一层的连接。

以一个四层神经网络为例，产生预测的步骤如下：
1. 第一层（a 的上标为 1）将每个特征的值加载到不同的单元中：a(1) =