使用 scikit-learn（而不是 pandas）进行 ML 预处理的四个理由

本文主要论述了在机器学习数据预处理中使用 scikit-learn 的优势，并通过四个关键点进行阐述：

1. 跨验证整个工作流程： 使用 scikit-learn 的 pipeline 可以将预处理和模型构建步骤整合在一起，并在跨验证中对整个流程进行评估。这种方式能够在每个折叠中进行预处理，避免数据泄露，从而更准确地估计模型的未来性能。

2. 网格搜索模型和预处理超参数： scikit-learn 的 pipeline 可以用于网格搜索模型和预处理超参数，例如，可以搜索逻辑回归的 C 值以及缺失值插补方法。相比之下，pandas 无法构建 pipeline，因此无法实现此功能。

3. 避免向源数据框添加新列： scikit-learn 的 ColumnTransformer 可以对数据进行预处理，而不会影响源数据框。例如，使用 pandas 进行哑变量编码时，如果一个特征包含 20 个类别，就会产生 20 个新的数据框列。这会导致数据框变得庞大且难以探索。

4. pandas 缺乏独立的 fit 和 transform 步骤： scikit-learn 的 fit 和 transform 可以分别从训练数据中学习信息，并将学习到的信息应用于训练集和测试集。这种机制能够避免数据泄露。而在 pandas 中，要实现相同的功能需要编写大量的代码，并且流程非常复杂。

总而言之，scikit-learn 的 pipeline 和其他工具在机器学习数据预处理中提供了更加高效、便捷和安全的解决方案，避免了 pandas 的一些局限性。

使用 scikit-learn（而不是 pandas）进行 ML 预处理的原因：1. 可以对整个工作流程进行交叉验证2. 可以对模型和预处理超参数进行网格搜索3. 避免向源 DataFrame 添加新列4. pandas 缺乏独立的拟合/转换步骤，以防止数据泄漏