【机器学习深度解析】第二章 特征工程深度解析

目录

2.1 数据清洗：处理缺失值与异常值

原理详解

1. 缺失值 (Missing Values)

2. 异常值 (Outliers)

代码实现

2.2 特征转换：标准化、归一化、独热编码

原理详解

1. 标准化 (Standardization / Z-score Scaling)

2. 归一化 (Normalization / Min-Max Scaling)

3. 独热编码 (One-Hot Encoding)

代码实现

2.3 特征选择：过滤法、包裹法、嵌入法

原理详解

1. 过滤法 (Filter Methods)

2. 包裹法 (Wrapper Methods)

3. 嵌入法 (Embedded Methods)

代码实现

2.4 特征降维：主成分分析 (PCA) 与 t-SNE

原理详解

1. 主成分分析 (Principal Component Analysis - PCA)

2. t-分布随机邻域嵌入 (t-SNE)

代码实现

2.5 实战案例：泰坦尼克号生还者预测

原理详解

代码实现

---

"数据和特征决定了机器学习的上限，而模型和算法只是在逼近这个上限而已。" —— Peter Norvig (Google研究总监)

这句名言道出了特征工程在整个机器学习流程中无可替代的核心地位。特征工程是利用领域知识和技术手段，从原始数据中提取、转换和选择特征，以最大化模型性能的过程。一个精良的特征工程实践，其效果往往远超模型算法的调优。

本文将深入探讨特征工程的三大支柱：数据清洗、特征转换与特征选择，并为每个主题提供详尽的原理分析与可实践的深度代码示例。

---

2.1 数据清洗：处理缺失值与异常值

数据清洗是构建可靠模型的第一道防线。原始数据中普遍存在的缺失和异常值，会严重扭曲数据分布，误导模型学习，甚至导致程序执行失败。