21、机器学习中的管道与文本数据处理

机器学习中的管道与文本数据处理

1. 管道的应用与优势

在机器学习工作流中，常常需要将多个处理步骤串联起来。例如，在癌症数据集上进行网格搜索时，我们可以按如下方式实例化并运行：

X_train, X_test, y_train, y_test = train_test_split(
    cancer.data, cancer.target, random_state=0)
grid = GridSearchCV(pipe, param_grid, cv=5)
grid.fit(X_train, y_train)
print("Best params:\n{}\n".format(grid.best_params_))
print("Best cross-validation score: {:.2f}".format(grid.best_score_))
print("Test-set score: {:.2f}".format(grid.score(X_test, y_test)))

运行结果如下：

Best params:
{'classifier':
 SVC(C=10, cache_size=200, class_weight=None, coef0=0.0,
     decision_function_shape=None, degree=3, gamma=0.01, kernel='rbf',
     max_iter=-1, probability=False, random_state=None, shrinking=True,
     to