机器学习（四）- linear regression

linear regression

线性回归很简单，就是运用我们已知的数据集(training set)去拟合出一组$\theta$，等同于在空间中拟合出了一条曲线，然后我们就可以利用下面的方程进行数据预测了。当然这些都是在我们已经完成了特征选取和模型假设之后，特征选取就是$x$向量中的每个值（比如对于预测房价，我们觉得可能跟房子大小和卧室个数有关，所以我们的 $x$就有两个值，一个代表房子大小，一个代表卧室个数），模型假设就是$h_{\theta }(x)$
$$h_{\theta }(x)={\theta }^{T}x={\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n$$
具体步骤其实只有下面这个迭代方程：
$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$
对于每一个$\theta$，我们运用梯度下降。转换为矩阵形式就是：
$$\theta :=\theta -\alpha \frac{1}{m}(X^T(X\theta -y))$$
需要提一句的是，这里的矩阵$X$还需要包含$x_0$，也就是一个全1向量，矩阵$X$应该有 $n+1$个column。
下面是matlab代码实现

for iter = 1:num_iters
    theta = theta - alpha*(1/m)*(X'*(X*theta-y));
end

如果我们不需要设置迭代结束的阈值，即代价函数。那么我们就只需要上面这个函数，设置一个迭代次数，我们就能求到我们的$\theta$。
如果我们需要运用代价函数，那么就需要用到下面这个方程：

$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
转化为矩阵形式就是：
$$J(\theta )=\frac{1}{2m}(X\theta -y{)}^T(X\theta -y)$$
下面是matlab代码实现

    J = 1/(2*m)*((X*theta-y)'(X*theta-y));

---