pipeline应用例子

最新推荐文章于 2024-08-12 21:40:41 发布

原创

最新推荐文章于 2024-08-12 21:40:41 发布 · 2.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#sklearn #pipeline

Pipeline是sklearn库中的一个工具，它允许将多个数据预处理和建模步骤串联起来，形成一个可调用的对象。在示例中，Pipeline被用来处理缺失数据和标准化数据。每个Pipeline组件必须实现fit和transform方法，最后一个组件至少需要fit方法。使用Pipeline的好处包括简化代码，避免重复调用fit和transform，并且能够结合GridSearchCV进行参数调优。

管道命令不经常使用，但是很有用，可以把多个步骤组合成一个对象执行。这样可以更方便灵活地调节和控制整个模型的配置，而不是一个一个步骤调节。

下面通过pipeline把多个数据处理步骤组合成一个对象，先将缺失数据填充，然后数据集标准化

构造缺失数据集：

In [3]: from sklearn import datasets
   ...: import numpy as np
   ...: mat = datasets.make_spd_matrix(5)
   ...: masking_array = np.random.binomial(1,0.1,mat.shape).astype(bool)
   ...: mat[masking_array]=np.nan
   ...: mat
   ...:
Out[3]:
array([[ 2.52711026,         nan, -1.04043074,  2.06389549,  0.47661882],
       [        nan,         nan,  0.15508676,  0.01415386, -0.06226449],
       [-1.04043074,  0.15508676,         nan, -1.19658827, -0.08381655],
       [ 2.06389549,         nan, -1.19658827,  3.12278438,  0.66169001],
       [ 0.47661882, -0.06226449, -0.08381655,  0.66169001,  0.5308833 ]])

不使用pipeline命令处理的过程：

In [4]: from sklearn import preprocessing
   ...: impute = preprocessing.Imputer()
   ...: scaler = preproce

最低0.47元/天解锁文章