多元线性回归中的梯度下降法

线性回归中，目标是使：

尽可能小。
其中

则，目标就转化为，使

尽可能小。
对 J（上式）在每一点 theta 求导
其中

由上面的求导式（即梯度）可看出，每一行都是 m 项求和得来的，即梯度与样本数量有关，这显然是不合理的。而我们希望我们求出的梯度是和 m 无关的，所以为每一项除以 m
此时，目标又变为，使

尽可能小。
此处，也就是

有时，我们取

1/2 与 求导所得的 2 可以约掉，这个系数影响不大。