4、人工神经网络基础：前馈传播、反向传播与学习率

人工神经网络基础：前馈传播、反向传播与学习率

1. 反向传播与梯度计算

我们可以通过公式 $\frac{\partial L}{\partial w_{11}} = -2 \times (y_{pred}) \times w_{31} \times a_{11} \times (1 - a_{11}) \times x_{1}$ 计算权重值的微小变化对损失值的影响（损失相对于权重的梯度），而无需重新计算前馈传播。在梯度下降中，我们按顺序更新权重（一次更新一个权重），但借助链式法则，我们可以并行计算权重微小变化对损失值的影响。

2. 结合前馈传播和反向传播

2.1 构建简单神经网络

我们将构建一个带有隐藏层的简单神经网络，该隐藏层将输入连接到输出。具体步骤如下：
1. 导入相关包并定义数据集 ：

from copy import deepcopy
import numpy as np
x = np.array([[1,1]])
y = np.array([[0]])

2. 随机初始化权重和偏置值 ：

W = [
    np.array([[-0.0053, 0.3793],
              [-0.5820, -0.5204],
              [-0.2723, 0.1896]], dtype=np.f