线性回归理论部分

一、线性回归

1 假设一个模型函数，初始化函数的参数

2 根据损失函数计算预测值与真实值的差值，求取使得损失函数最小值的参数

线性回归是由训练集得到一个映射关系，当给定待测样本X时，可以通过映射关系得到预测值y

X为特征向量，也为输出值

当X中只有一个特征值时，即X=｛X₁｝ 学习到的线性模型

当X存在n个特征值时，这时学习到的模型为

X={1,x1,x2,...,xn}

二、损失函数

 为了得到线性模型hθ (X)，需要获得特征系数矩阵

θ=｛θ0，θ1，...，θn｝

 计算特征系数，依靠损失函数

三、梯度下降法求解

 在上面，找到了一个特征系数向量θ好坏的利用损失函数 J(θ)表示的是预测值与真实值的差值，当损失函数最小时，

预测值与真实值最接近，即线性拟合最好。

 损失函数是关于θ的函数，最小的时候，此时取得的特征系数θ为模型的系数。

 梯度下降就是一个不断地最小化损失函数的过程。

 从图像上看，先初始化 θi为某个值，然后让θi沿着J(θ)在θi的偏导方向不断地走，直到走到底部收敛为止，

最后可以得到J(θ)最小时的θi的值。

 这个不断迭代的过程犹如一个不断下山的过程，我们可以得到图中关于θi的迭代函数，α为步长。

参考：线性回归