机器学习-算法模型-线性回归的不断升级

前言

本文是总结性的文档。

主要是从简单的线性模型存在的问题，以及对解决这些问题后的模型比如：Lasso、Ridge、LR、SVM、LDA。获得启示：

1、对基本线性模型有更深的理解

2、将模型串起来。

3、提供学习新的模型的方法。(基本模型，改进后"新"的模型)

4、改进模型的一些思路。

(能力有限，有些深入的部分未扩展)

线性模型存在的问题及解决方案：

问题1：鲁棒性较差

解决方案：

        空间变换。

        1、LR：将线性回归输出的连续值变换到[0,1]区间提升鲁棒性。(输出转换)

        2、SVM：寻找最大间隔来提升鲁棒性.（输入特征空间，升到高维空间）

问题2：过拟合

解决方案：

        正则化技术，改造损失函数。

        L1正则化项：Lasso模型(特征选择)

        L2正则化项：Ridge regression 

问题3：多重共线性

解决方案：

        变量的选择与逐步回归。

        Ridge regression 。(见《统计学》P212 小字部分的注释中)

问题4：特征维度较高

解决方案：

        空间转换        

        LDA(自然联想到PCA)

改进的算法间的区别？

此处给出较好的参考性文章。不再重复赘述。

LR、SVM

 LR、linear SVM 异同

SVR、KRR

SVR是支持向量机的回归模型 。KRR是 kernel ridge regression

SVR、KRR异同

Lasso、Ridge regression 

主要是L1与L2正则化项的比较。

L1与L2的直观性理解

LDA、PCA

降维技术的比较。

LDA、PCA的区别

以上问题不限于上面列举的，看官可自行谷歌。

参考：

《统计学》第六版 贾俊平著