51、神经网络设计与Python实现全解析

神经网络设计与Python实现全解析

1. 多层感知机（MLP）概述

多层感知机（MLP）由若干层神经元组成。在一个示例中，各层分别包含3、4、3和2个神经元，总共12个神经元就有12个激活值。由于神经元数量通常较多，我们用字母 a 表示激活值，并通过上标和下标进行索引。上标表示层，下标表示该层中的神经元。例如，$a_{2}^{2}$ 代表第二层的第二个神经元的激活值。

2. 神经网络中的数据流

将神经网络作为一个数学函数进行评估，主要有以下四个基本步骤：
1. 设置输入层激活值 ：输入层即最左边的层。若输入向量为 (0.3, 0.9, 0.5)，对于有3个输入层神经元的网络，我们可令 $a_{0}^{1} = 0.3$，$a_{0}^{2} = 0.9$，$a_{0}^{3} = 0.5$，这样就填充了网络中12个神经元中的3个。
2. 计算下一层的激活值 ：下一层的每个激活值通常是上一层激活值的不同函数。例如，计算 $a_{1}^{1}$ 时，可表示为 $a_{1}^{1} = f(a_{0}^{1}, a_{0}^{2}, a_{0}^{3})$。假设 $f(0.3, 0.9, 0.5) = 0.6$，那么 $a_{1}^{1}$ 的值就为0.6。计算 $a_{2}^{1}$ 时，它也是输入层激活值的函数，但通常是不同的函数，如 $a_{2}^{1} = g(a_{0}^{1}, a_{0}^{2}, a_{0}^{3})$。假设 $g(0.3, 0.9, 0.5) = 0.1$，则 $a_{2}^{1}$ 的值为0.1。计算完第一层的所有激活值