Python机器学习——线性模型

最近断断续续地在接触一些python的东西。按照我的习惯，首先从应用层面搞起，尽快入门，后续再细化一 些技术细节。找了一些资料，基本语法和数据结构搞定之后，目光便转到了scikit-learn这个包。这个包是基于scipy的统计学习包。里面所涵盖 的算法接口非常全面。更令人振奋的是，其用户手册写得非常好。然而，其被墙了（或者没有，或者有时被墙有时又好了）。笔者不会翻墙（请嘲笑吧），笔者只有 找代理，笔者要忍受各种弹窗。因此笔者决定，做一个记录，把这用户手册的内容多多少少搬一点到我的博客中来。以备查询方便。因此，笔者就动手了。

声明：如何安装python及其IDE，相关模块等等不在本系列博客的范围。本博客仅试图记录可能会用到的代码实例。

1.广义线性模型

这里的“广义线性模型”，是指线性模型及其简单的推广，包括岭回归，lasso，LAR，logistic回归，感知器等等。下面将介绍这些模型的基本想法，以及如何用python实现。

1.1.普通的最小二乘

由LinearRegression 函数实现。最小二乘法的缺点是依赖于自变量的相关性，当出现复共线性时，设计阵会接近奇异，因此由最小二乘方法得到的结果就非常敏感࿰