15、深入理解神经网络：从基础到实践

深入理解神经网络：从基础到实践

神经网络基础

网络结构与连接

神经网络由不同的层组成，每一层都有自己的权重。层的编号通常从输入层开始，输入层与输出层之间的层有时被称为隐藏层。每一层的单元数量不同，两层之间的单元数量决定了连接的数量，计算公式为：连接数量(l) = 单元数量(l) * 单元数量(l + 1)。

连接用权重矩阵表示，通常用大写希腊字母 Theta (θ) 表示，为了便于阅读，也常用大写字母 W 表示。例如，W1 表示从第 1 层到第 2 层的连接权重，W2 表示从第 2 层到第 3 层的连接权重，依此类推。

权重代表了网络中神经元之间连接的强度。当两层之间连接的权重较小时，意味着网络会丢弃它们之间流动的值，表明走这条路径不太可能影响最终预测。相反，较大的正值或负值会影响下一层接收到的值，从而改变某些预测。这类似于大脑细胞，它们并非孤立存在，而是与其他细胞相连。随着经验的增长，神经元之间的连接会变弱或变强，以激活或停用某些大脑网络细胞区域，从而引发其他处理或活动。

输入与输出表示

在神经网络中，输入和输出有不同的表示方式：
- a ：经过激活函数（称为 g）处理后存储在神经网络单元中的结果，这是进一步在网络中传输的最终输出。
- z ：a 与 W 矩阵中权重的乘积。z 表示通过连接的信号，类似于水管中的水，根据管径的不同以不同的压力流动。同样，由于用于传输的连接权重不同，前一层接收到的值会有高低之分。

前馈过程

神经网络中每一层的单元会逐步处理从特征中获取的值。数据