【python+机器学习（4）】多维数据的特征选取（Ridge&&Lasso）

欢迎关注哈希大数据微信公众号【哈希大数据】

在之前我们介绍了直接使用线性回归进行波士顿房价的预测，但是预测准确率仅有60%左右。预测准确率不高一方面是我们未对数据进行一定的预处理（包括归一化和标准化等），这样不能确保在使用优化方式时，对不同特征参数起到同样的影响。 其次是未深入挖掘数据特征间关系，比如当原始数据某些特征与目标值不具有线性关系时，不应当纳入训练模型中。而且数据特征之间可能存在共线性等其他问题，不完全适合使用线性回归模型进行拟合。
因此，本节我们将介绍Ridge Regression（岭回归）和Lasso Regression（拉索回归），进行波士顿房价数据集中的特征选取和共线性问题的处理，从而更加准确的构建模型实现房价预测。

算法理论介绍

机器学习机制回顾

在之前Linear Regression普通线性回归的应用中（忘记的小伙伴可拉到文末查看线性回归详情内容），我们的输入数据是具有13个特征属性的波士顿房价数据集。

回归模型的构建就是实现这13个特征属性值的线性加权之和，用于与实际的房价进行拟合。

image

然后通过机器学习功能来训练数据集进而获取该模型的参数也就是每个特征属性之前的权值系数（即权值a的确定）。