1. 本章要做什么
上一章我们说到一个参数的线性回归，
房价只和一个参数房子面积的关系，这一章，我们要讲多个参数的线性回归。
多元线性回归(multivariate linear regression)
比如：
房价与房子面积、卧室间数、房子层数、房龄等多个元素之间的关系。
符号表示：
房子面积、卧室间数、房子层数、房龄、房价分别用x1, x2, x3, x4，y来表示。
M：仍然是样本的总数量
n ： 特征数量即我们这里的参数数量（4）
： 第i个的训练数据（x1, x2, x3, x4的合集）比如：
： 第i个的训练数据的j个特征（x1, x2, x3, x4中的某一个）
我们之前的假设模型是：
现在，由于多加了参数变成了：
我们要改变一下式子，假设x0 = 1，那么原式可以写成：
然后我们引入向量，用矩阵的形式来表示：
因为多加了一个x0,所以整体的维度变成了n+1
维度关系：1 x n+1 x n+1 x 1 = 1 x 1，与之前的式子结果一样，这样表达更清楚。
2.多个参数的梯度下降(Gradient Descent For Multiple Variables)
假设模型：
参数：θ，n+1维
代价函数：J(θ) =
梯度下降公式：
展开看一下：
θ0和θ1其实和我们上一章讲的是一样的，因为x0 = 1
3.特征缩放(Feature scaling)
思想：尽量保证特征在相同的区间内
好处：可以在使用梯度下降的时候收敛的更快
举例：
 |  |
例如：两个参数，房子面积和卧室数量去预测房价，x1的范围是(0-2000) X2的范围是(1-5)，所以如果我们这样画出J(θ)的图的话，势必会如上图 一样，是一个窄高的椭圆，有可能造成梯度下降时消耗时间长。 | 假如我们把这两个特征的范围缩小到(0-1)的话，做出的J(θ)图会圆很多，这样会减少梯度下降的时间。 |
Mean normalization
这种标准化之后效果和上述方法差不多，
做法是：特征减去该特征的均值，除以该特征的最大值：
对于size来说，最大值是2000，均值是1000
x1 = (size-1000)/2000,
这样得到的结果在-0.5~0.5，也可以起到减少梯度下降时间的作用
4.Gradient Descent in practice
有时候我们想知道我们梯度下降过程是否正确，我们可以用下面的方法：
x轴是迭代的次数，我们把每次迭代后的J(θ)值。打印出来，作图。如果呈现下降的趋势，就是正确的。在这个图中，大约在迭代300次后，J(θ)下降的很小了，我们就可以把这个时候看成是结束的时候。
 |  |
如上图所示，
如果J(θ)不每次迭代不但数值没有减小，反而增加了，或者是波浪的形式，说明learning rate α 选择大了，需要选个小点的。
如果α选择大了：J(θ)会变大
如果α选择小了：J(θ)会下降的特别慢
所以一般α是从0.001， 0.01， 0.1， 1这样选择的。
5.Features and polynomial
有的时候我们可以对特征进行筛选或改变
 |
 |
假如我们预测房价用的特征是房子的临街的长和深度，相当于我们用的是房子的面积area
x = frontage * depth
hθ(x) = θ0 + θ1 * x
polynomial
有的时候我们添加多项式的时候会遇到二次方， 三次方的情况，我们可以把这样的特征转换成一次方的形式：
如果我们选择这样转换的话，就更要注意feature scaling了。因为会对模型有很大的影响。
6.Normal Equation
对于有些模型是存在公式解决办法的。
比如说gradient descent
 |
 |
用这个公式就可以算出θ的值了，我们之后会讲如何算的。
这个大写的X就是我们所有x上数据的所有：
因为这里是直接算θ，所以如果用这种方法就不用进行feature scaling了。
| gradient descent | normal equation | |
| 优点 |  |  |
| 缺点 |  |
n小于10000，直接用，大于10000用梯度下降 |
6.Normal Equation Non Invertibility
如果当我们用normal equation的时候，有事会出现有的矩阵不可逆的情况。
当中XTX就有可能。
线代知识就是这个矩阵是奇异的或者是退化的，
出现这个问题的原因以及解决办法是：
 |  |
其实这两个特征可以写到一个里 x1 = 3.28 * x2 所以我们要先检查我的数据特征里是不是存在着这样的关系 | 特征数量大于数据数量 m = 10, n = 100 第二步就是看是否特征数量大于数据数量 其实这么少的数据也是不能计算出合适的多特征的模型的 |
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
