机器学习从零开始系列【第三话】多项式回归问题

特征缩放 (Features scaling)

为什么需要特征缩放？
目的让所有的变量处在一个数量级上，如果某一个变量的数量级和其他的相差太严重会导致收敛太慢，因为我们对每个变量使用的学习率都是一致的。
假如有某个变量的数量级太大，会导致损失函数的梯度图呈现这样扁竖的样子：

【解决方法：均值归一化】(Mean normalization)

$$X:=\frac{X-avg(X)}{range}$$
这样可以把X控制在 $-0.5<X<0.5$

多项式回归

例如：
$$h(\theta )={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_1+{\theta }_3{x}_3....$$
如果把变量参数都看作矩阵：

为什么会有：
$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$
（注意：这里的$\theta$是矩阵），假设样本总数m=4，特征数n=5。Hypothesis function 可以表示为
$$Y=X\theta$$
Y=m * 1
X=m * n
$\theta$=n * 1
$X^T$=n * m
假如我们需要求$\theta =X^{-1}Y$，但我们不能保证X一定是方阵，可以使用矩阵转置来帮助$\theta =(X^{T}X{)}^{-1}{X}^{T}y$