Batch GD/Mini-batch GD/SGD/Mini-batch SGD/Online GD

用下面的损失函数来作为例子:

参数更新公式为:

1. Batch GD

对于 Batch GD， m 是整个 batch 大小, 它用整个集合的数据来更新参数。

2. Mini-batch GD

整个 batch 被分为几个小的 mini-batches， m 是 mini-batch 的大小。

3. SGD/Mini-batch SGD

m=1，在所有数据上迭代直到收敛。这其实是 batch size 为1的 Mini-batch GD 的特殊情况。

4. Online GD

m=1，但是每一个数据用完后就被丢弃不再使用。