机器学习之线性回归（一）

机器学习之线性回归（一）

作为一名Java后端狗，从今天开始学习机器学习，希望自己有所收获。
学习编程语言一般都是从打印hello world入手，这是最简单的程序。而机器学习最简单的模型就是线性模型了。线性回归，也就是LR（Linear Regression）。

回归（Regression）

首先看下什么是回归：

统计学中，回归分析（regression analysis)指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；按照因变量的多少，可分为简单回归分析和多重回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。

回归，即确定变量之间的依赖关系，从而可以从已知变量，预测未知变量的值，多用与连续问题，区别于分类。
比如我们现在有一群人的身高和体重，希望找到身高和体重之间的 关联关系，这就是一个回归问题，即找到一条曲线来拟合人们的身高和体重数据，从而得知身高求其体重，或者知其体重求其身高。

正文

定义：
给定数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . , ( x m , y m ) } D=\left\{(x_1,y_1),(x_2,y_2)...,(x_m,y_m)\right\} D={ (x1​,y1​),(x2​,y2​)...,(xm​,ym​)}，其中，$x_i=(x_{i1};x_{i2};...;x_{id})$，$y_i\in \Re$,线性回归试图学得一个线性模型来尽可能地预测实值y值，即
$$f(x_i)=w{x}_i+b,使得f(x_i)\approx y_i$$
为了得到$w和b$，首先我们定义损失函数，而均方误差（MSE，Mean Square Error）是回归任务中最常用的性能度量，因此我们试图让均方误差最小化来求$w和b$：
( w ∗ , b ∗ ) = arg ⁡ min ⁡ ( w , b ) ∑ i = 1 m ( f ( x i )