机器学习笔记第2周

第2课 Multivariate Linear Regression 多元线性回归

特征缩放（feature scaling）：一般把xi缩放到-1到1的范围内

均值归一化（mean normalization）：减去平均值再除范围（最大值与最小值之差）

确定梯度下降是否正常工作：画出J(θ)根据梯度下降迭代次数的变化图，看是否是递减的。也可根据下降幅度来判断是否已收敛

如果J(θ)非递减，则α过大。如果α过小，太慢。

如何选择学习率α：尝试一系列α，选择最大值，或比最大值稍小的一个合适值。如间隔3倍：…0.001，0.003，0.01，0.03，0.1，0.3，1，…

特征选择：如房价预测，不要选长宽两个特征，把它们合成一个特征：面积。

多项式回归：用x1,x2,x3代替x,x^2,x^3，化为线性回归（特征缩放非常重要）：

模型选择：以面积预测房价为例，不应该用二次模型，因为二次模型是抛物线形状，涨到一定程度后会下降。这时，除了三次模型外，还可以用平方根模型，同样可以满足条件：

第2课 Computing Parameters Analytically

1.正规方程：不用梯度下降，用求导的方法直接一次求得θ

用矩阵的方法，例：

梯度下降与正规方程优缺点比较：

梯度下降：优点：当n（特征个数）非常大时也能好好地工作

    缺点：需要选择合适的α；需要多次迭代

正规方程：优点：不用选择α，不用迭代

    缺点：需要计算XTX的逆（O(n^3)），当n（特征个数）非常大时速度很慢

如果n<10000用正规方程，n为10000左右时需考虑，n远大于10000时，用梯度下降

一些复杂的算法，如分类算法，像逻辑回归算法（以后讲），并不能用正规方程的方法，只能用梯度下降法

2.正规方程的可逆性

如果XTX不可逆。

Octave中有两个求逆函数：pinv和inv，其中pinv是伪逆函数，即使不可逆，也能求出结果

XTX不可逆通常有两个原因：

1.有多余的特征，如以英寸计算的面积和以平方米计算的面积两个重复的特征。解决方法：删除重复的特征

2.特征的数量过多，大于训练集长度（m<=n）。解决方法：删除一些特征，或使用正规化的方法（以后讲）