9、人工智能中的梯度下降与反向传播

人工智能中的梯度下降与反向传播

1. 人工神经网络的基础与问题

在人工智能领域，人工神经网络（ANN）的程序选择通常基于效果最佳的方式，而不一定完全理解为何某种方法优于其他方法。人工神经元激活的参数化提供了一种动态调整突触模式以进行特征提取的手段，但关键问题是，如何精确计算权重和偏置，使人工神经网络能够学习和识别，从而展现出人工智能呢？

以下是一些相关的要点提示：
- 初始分布类型应多样化，避免ANN因相同的初始化倾向而影响参数化学习。
- 模糊逻辑和Sigmoid函数类似，通过赋予0到1之间的值来表示真实程度，而非二进制的0或1。
- ANN中的“列”指的是从左到右的层，这常令人困惑，因为层通常以垂直堆叠的形式表示。
- ReLU缓解了Sigmoid函数的梯度消失问题，因为深层由于梯度指数级下降至极小值，导致训练非常缓慢，无法改变权重。其他灰度转换函数还包括CUBE、ELU、HARDSIGMOID等。

2. 人工神经网络的训练与损失函数

人工神经网络必须经过训练才能识别和分类对象及数据。初始时，神经元激活水平通过高斯分布的权重和偏置进行参数化，此时的神经网络就像一张白纸，准备进行机器学习。

初始随机人工神经激活分布与训练集数据之间的差异通常较大，学习任务就是缩小这种差异，以学习训练集图像和数据的特征，将其存储在记忆中，然后识别呈现给它的图像和数据。这种差异通过损失函数来衡量，损失函数表示为第L层决策行向量神经元a的输出激活与相应训练集y向量之间差异的平方和：
[
\text{Loss Function} = (a^L - y)^2
]

在人工智能