10、神经网络学习：梯度下降、相关性与误差处理

神经网络学习：梯度下降、相关性与误差处理

1. 梯度下降方法

1.1 随机梯度下降

随机梯度下降每次使用一个样本更新权重。它是梯度下降的一种变体，是学习整个数据集的方法之一。其工作方式是针对每个训练样本分别进行预测和权重更新。例如，先处理第一个路灯数据，尝试预测，计算权重增量（weight_delta）并更新权重，接着处理第二个路灯数据，以此类推。该方法会多次遍历整个数据集，直到找到适合所有训练样本的权重配置。

1.2 全梯度下降

全梯度下降每次使用整个数据集更新权重。它会计算整个数据集上的平均权重增量，仅在计算完完整的平均值后才改变权重，而不是对每个训练样本都更新一次权重。

1.3 批量梯度下降

批量梯度下降在处理n个样本后更新权重。它介于随机梯度下降和全梯度下降之间，通常选择8到256个样本作为一个批次，处理完一个批次后更新权重。

梯度下降方法	更新权重方式
随机梯度下降	每次一个样本
全梯度下降	每次整个数据集
批量梯度下降	每n个样本（批次）

2. 神经网络学习相关性

2.1 识别相关性