机器学习（三）

多变量的梯度下降算法

1、 公式：${\theta _j}: = {\theta _j} - \alpha \frac{1}{m}\sum\limits_{i = 1}^m {({h_\theta }({x^{(i)}}) - {y^{(i)}})x_j^{(i)}}$
后面一项已经是偏导的结果
2、如果不同特征向量取值范围差距过大，使用梯度下降的方法可以效果并不好，这时可以采用尺度缩放的方法，将所有的特征向量都缩放至-1到+1的范围之内，便于使用梯度下降法
更普遍的归一化方法：$\frac{{{x_i} - \mu }}{s}$，其中$\mu$ 为特征向量的均值，$s$ 为最大值减去最小值，也就是特征向量的取值范围

正规方程法

使用特征向量构造矩阵X，则最终参数的式子为：$\theta = {({X^T}X)^{ - 1}}{X^T}y$
这样也不需要正规化特征向量
当${X^T}X$ 不可逆的原因：1）特征冗余2）太多的特征

小结：

实际上，当计算量越来越大时，梯度下降法仍然有效，但正规方程法会受到限制，因此需要根据实际进行取舍