10、神经网络中的梯度下降与相关性学习

神经网络中的梯度下降与相关性学习

1. 梯度下降的类型

梯度下降是一种用于训练神经网络的优化算法，常见的有随机梯度下降、全量梯度下降和批量梯度下降三种类型。
- 随机梯度下降（Stochastic Gradient Descent） ：每次仅使用一个样本对权重进行更新。它会对每个训练样本分别进行预测和权重更新，即依次处理每个样本，计算权重变化量并更新权重，不断迭代整个数据集，直至找到适合所有训练样本的权重配置。
- 全量梯度下降（Full Gradient Descent） ：每次使用整个数据集来更新权重。网络会计算整个数据集上的平均权重变化量，仅在计算出完整平均值时才改变权重。
- 批量梯度下降（Batch Gradient Descent） ：在处理一定数量（通常为 8 到 256）的样本后更新权重。它介于随机梯度下降和全量梯度下降之间。

梯度下降类型	更新方式
随机梯度下降	一个样本更新一次权重
全量梯度下降	整个数据集更新一次权重
批量梯度下降	n 个样本更新一次权重

2. 神经网络学习相关性