机器学习（一）——sklearn中的pipeline

最新推荐文章于 2025-12-04 10:25:38 发布

原创

最新推荐文章于 2025-12-04 10:25:38 发布 · 2.5k 阅读

22 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #sklearn #python

sklearn的Pipeline用于管理和封装预处理操作，防止数据泄露，提供便捷的参数选择和安全的工作流程。它允许将特征提取、归一化等步骤与分类器串联，确保测试集处理的一致性。通过Pipeline，可以实现评估器的联合参数选择，并与GridSearch配合进行参数优化。

当对训练集应用各种预处理操作时（比如特征标准化、主成分分析等等），都需要对测试集重复利用这些参数，以免出现数据泄露（data leakage）。

pipeline 实现了对全部步骤的流式化封装和管理（streaming workflows with pipelines），可以很方便地使参数集在新数据集（比如测试集）上被重复使用。

Pipeline可以将许多算法模型串联起来，比如将特征提取、归一化、分类组织在一起形成一个典型的机器学习问题工作流。Pipeline的主要用途：

1.便捷性和封装性只要对数据调用fit和predict 一次来适配所有的一系列评估器，对算法模型进行训练和预测。

2.联合的参数选择可以结合grid search选择管道中所有评估器的参数。

3.安全性训练转换器和预测器使用的是相同样本，管道有助于防止来自测试数据的统计数据泄露到交叉验证的训练模型中.

管道中的所有评估器，除了最后一个评估器，管道的所有评估器必须是转换器。 (例如，必须有transform方法). 最后一个评估器的类型不限（转换器、分类器等等）

Pipeline是使用（key，value）对的列表构建的，其中key是步骤名称的字符串，而value是一个估计器对象

示例：
1.数据准备

import pandas as pd
from sklearn.model_selection import train_test_split

# 数据读取
data = pd.read_excel('data.xlsx')

# 切分目标值和训练数据
y = data.Price
X = data.drop(['Price'], axis=1)

# 切分训练集验证集
X_train_full, X_test_full, y_train, y_test = train_test_split(X, y, train_size=0.7, test_size=0.3,random_state=0)

# 分类型变量
categorical_cols = [cname for cname in X_train_full.columns if X_train_full[cname].nunique() < 10 and 
                        X_train_full[cname].dtype == "object"]

# 数值型变量
numerical_cols = [cname for cname in X_train_full.columns if X_train_full[cname].dtype in ['int64', 'float64']]

my_cols = categorical_cols +<