线性回归（基础及改进）--基本机器学习算法

一.线性回归（Linear Regression）原理简介

1.基本内容

线性回归是机器学习中最为简单，最基础的一类有监督算法，直观易于理解，可解释性强。

线性回归要解决的问题是：给定一组样本输入，在某一特定损失下，找到目标值和输入值之间的函

数关系，在此基础上，再给定一个新样本下，我们能够预测其对应的目标值是多少。

2.模型分解

线性（Linear）算法模型：给定n个属性  ，此模型试图学得一个通过各个属

性得线性组合来预测的函数，即  ；

其中  为参数， 是输入数据，待模型学得参数之后，模型就可以确定了。

回归（Regression）算法模型：回归是相对分类而言，也算是一种分类，但主要针对的是连续型

变量，而分类算法针对的是离散型变量

3.模型分类

一元线性回归：只用一个x来预测y，即用直线来拟合二维数据，形如 ;

多元线性回归：用多个x来预测y，即用一个平面来拟合多维数据，此时参数则有多个，形如

;

4.模型优化

损失函数：在拟合过程必然出现误差，但我们希望模型能最大程度地拟合所有数据，也就是使得误

差最小化，这里的误差我们取“残差”来衡量，