为什么使用梯度下降法或者梯度上升法

其中为第i组数据的independent variable，为第i组数据的dependent variable，为系数向量。

最小二乘法，如上所示。

可能有人感觉直接对求偏导比较方便。但是我们根据normal equation 可以得知

θ= ,这时的计算量很大，同时注意此时矩阵也很大（求逆也计算也不小）。

此时使用梯度下降法或者梯度上升法我们仅仅把数字输入，进行简单的计算即可。

同时θ的变化很小时，我们可以自动终止。

如果需要更详细的资料建议:http://www.zhihu.com/question/20822481,其中前两个答案联合解释的比较清晰。