15、神经网络基础与反向传播算法的Python实现

神经网络基础与反向传播算法的Python实现

1. 感知机的局限性

执行以下命令，我们会发现感知机无法学习非线性关系：

$ python perceptron_xor.py
[INFO] training perceptron...
[INFO] testing perceptron...
[INFO] data=[0 0], ground-truth=0, pred=1
[INFO] data=[0 1], ground-truth=1, pred=1
[INFO] data=[1 0], ground-truth=1, pred=0
[INFO] data=[1 1], ground-truth=0, pred=0

无论我们以不同的学习率或不同的权重初始化方案运行多少次这个实验，单层感知机都无法正确建模异或（XOR）函数。这就表明我们需要更多的层，深度学习也由此开始。

2. 反向传播与多层网络

反向传播可以说是神经网络历史上最重要的算法。没有（高效的）反向传播，就不可能将深度学习网络训练到如今的深度。它是现代神经网络和深度学习的基石。

2.1 反向传播算法的两个阶段

反向传播算法由两个阶段组成：
1. 前向传播 ：将输入数据通过网络，经过一系列点积和激活函数，最终得到输出预测（也称为传播阶段）。
2. 反向传播 ：计算网络最后一层（即预测层）损失函数的梯度，并使用该梯度递归应用链式法则来更新网络中的权重（也称为权重更新阶