机器学习面试准备之一、线性回归与逻辑回归

机器学习面试准备之一、线性回归与逻辑回归

（1）线性回归(Linear Regression)：

线性回归才是真正用于回归的，而不像logistic回归是用于分类，其基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化。单变量线性回归的基本形式就是y = ax + b，用来拟合数据，比如房屋面积和价格的关系。

收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数，多变量线性回归的表示形式为：

优化目标为：

在线性回归的基础上，有了局部加权线性回归（LWLR），优化目标为：

由此可见LWLR与LR不同，LWLR是一个非参数模型，因为每次进行回归计算都要遍历训练样本至少一次。

线性回归优缺点：

• 优点：实现简单，计算简单；
• 缺点：不能拟合非线性数据；

（2）逻辑回归(Logistic Regression):

Logistic是用来分类的，是一个非线性的二分类模型，主要是计算在某个样本特征下事件发生的概率，但是它本质上又是一个线性回归模型，因为除去