01 回归算法 - 简介

今天开始将进入机器学习的回归算法部分，首先介绍一下回归部分涉及到的知识点。

一、大纲

1、线性回归

预测连续值的方法。

2、Logistic回归

名曰回归，实际上是处理分类的方法。即处理离散值，是一个二分类的算法。

3、Softmax回归

基于Logistic回归的一种衍生。Logistic回归只能解决二分类的问题，Softmax回归可以解决多分类的问题。

4、梯度下降

梯度下降法是高等数学中的知识点，解决的问题是：对于任意一个目标函数，观测当函数取得极值点时，对应的自变量是多少。
在机器学习中的运用场景是：解决代价函数取得极小值点时，参数θ的取值。

5、Lasso回归

特征抽取、特征选择。

二、什么是回归算法

回归算法是一种有监督的算法。（有预测目标）

回归算法是一种用来构建自变量和应变量之间关系的算法，在机器学习中，应变量是目标值，自变量是特征。回归算法最后得到的是一组特征前的系数，使模型能够尽可能拟合造物主公式。

三、一维到N维

1、一维模型

现在拥有一组房屋面积及其对应房价的数据（ x₁ =100，房子100平方米。）我们要预测面积和价格的映射关系，构建如下模型：
h(x) = θ₀ + θ₁x₁

h(x) 为房价，x₁ 为房屋面积，根据大量的数据求出θ₀和θ₁的值，于是能够构建出一条直线。

如果此时将测试集中的数据投入到模型中，如果模型构建的比较好，可以看到测试集中所有(面积，价格)的点会均匀分布在直线的上下两侧，而且离的