15、数据清理：从重复项到模糊匹配与正则表达式

数据清理：从重复项到模糊匹配与正则表达式

在数据处理过程中，我们常常会遇到各种数据问题，如重复项、数据类型不一致、拼写错误等。本文将介绍如何处理这些问题，包括查找重复项、模糊匹配和正则表达式匹配等方法。

1. 数据初步分析与处理

在处理数据时，我们可能会发现结果存在差异。部分问答集在某一“类型”中有显著体现，而其他的则有多种类型猜测。这些只是粗略猜测，可作为处理数据的起点。

我们可以从找出大多数为数字类型响应的问题入手，查看非数字响应的值，这些值可能是“NA”或错误插入的值。若这些问题是我们关注的，可对这些值进行归一化处理，例如用“None”或“null”值替代“NA”值或错误值，这在对相关列运行统计方法时很有用。

在处理数据集的过程中，我们会发现数据类型异常或“NA”响应。处理这些不一致性的最佳方法取决于我们对主题和数据集的了解，以及我们试图回答的问题。如果要合并数据集，有时可以剔除这些异常值和不良数据模式，但要注意不要忽略细微趋势。

2. 查找重复项

如果使用多个包含相同调查数据的数据集，或者使用的原始数据可能存在重复条目，那么删除重复数据是确保数据能准确使用的重要步骤。

2.1 使用唯一标识符

如果数据集有唯一标识符，可以使用这些 ID 来确保没有意外插入或获取重复数据。若数据集没有索引，可能需要找出一种识别每个唯一条目的方法，比如创建可索引的键。

2.2 Python 内置集合去重

Python 内置库提供了一些识别唯一值的好方法。例如，使用 set 和 frozenset </