【大模型学习】第九章 机器学习中的数据预处理技术详解

目录

引言

一、清洗数据（Data Cleaning）

1. 定义与目的

2. 常见问题及解决方法

2.1 重复记录

2.2 异常值检测 

2.3 不一致性修正

二、填充缺失值（Handling Missing Values）

1. MCAR（Missing Completely at Random）原理及处理方式

示例代码

2. MAR（Missing at Random）原理及处理方式

3. MNAR（Missing Not at Random）原理及处理方式

4. 缺失值的处理总结

三、转换数据格式（Data Transformation）

1. 标准化/归一化（Normalization/Standardization）

2. 类别编码

1. 独热编码（One-Hot Encoding）

2. 标签编码（Label Encoding）

3. 独热编码 vs 标签编码：优缺点对比

四、总结

---

引言

        在构建和训练机器学习模型之前，数据预处理是一个至关重要的步骤。它确保了输入到模型的数据是干净、一致且易于理解的，从而提高模型性能和准确性。本文将详细介绍几种主要的数据预处理技术，包括清洗数据、填充缺失值以及转换数据格式等，并解释其实现原理。

一、清洗数据（Data Cleaning）

1. 定义与目的

        数据清洗是指识别并纠正或删除数据集中的错误、不完整或无关的信息的过程。其目的是为了保证数据的质量，使得后续分析更加准确可靠。