1、数据清洗实用指南：从导入到自动化处理

数据清洗实用指南：从导入到自动化处理

1. 数据清洗概述

数据清洗是为分析准备数据所需的所有任务的广义定义。其过程通常包括导入数据、诊断性查看数据、识别异常值和意外值、插补值、整理数据等。在处理数据时，不仅要关注如何操作，更要思考为什么要这样做。

2. 适用人群

• 初学者 ：对于刚开启数据科学或分析职业生涯的人来说，通过学习相关内容，能像作者的朋友一样，快速建立信心并开展工作。
• 有经验者 ：对于有一定工作经验的人，可作为实用参考，例如在处理缺失数据时，能找到保持变量方差的方法。

3. 数据导入

数据导入是数据清洗的第一步，不同格式的数据有不同的导入方法，以下是常见数据格式的导入介绍：
|数据格式|导入方法|
| ---- | ---- |
|CSV文件|使用 pandas 的 read_csv 函数。示例代码如下：

import pandas as pd
import os
import sys
nls97 = pd.read_csv("data/nls97g.csv", low_memory=False)
nls97.set_index('personid', inplace=True)

|Excel文件|使用 pandas 的 read_excel