线性回归模型

线性回归模型

线性回归是一种线性模型，它假设输入变量x和单个输出变量y之间存在线性关系

具体来说，利用线性回归模型，可以从一组输入变量x的线性组合中，计算输出变量y。

y = ax+b

f(x) = w1x1+w2x2+…+wdxd+b 只是维度变多了，自变量都是一次。

线性回归模型

·给定有d个属性（特征）描述的示例 x = (x1;x2;…xd),其中xi是x在第一个属性（特征）上的取值，线性模型（linear model）试图学得一个通过属性（特征）的线性组合来进行预测的函数，即

·f(x) = w1x1 + w2x2 + … + wdxd +b

·一般用向量形式写成：f(x) = w的T次方*x+b

·其中 w = (w1;w2;,;wd)

·假设特征和结果都满足线性，即不大于一次方。

·w和b学得之后，模型就得以确定。

·许多功能更为强大的非线性模型可在线性模型的基础上通过引入级层结构或高维映射而得。

最小二乘法

·基于均方误差最小化来进行模型求解的方法称为“最小二乘法”

·它的主要思想就是选择未知参数，使得理论值与观测值之差的平方和达到最小。

·我们假设输入属性（特征）的数目只有一个：f(xi) = wxi + bi,使得f(xi)约等于yi

arg是平均的意思

最小二乘法是高二学的，w的公式自己只能背住，其他几个公式自己可以推。