Python学习笔记29：进阶篇(十八)常见标准库使用之质量控制中的数据清洗

前言

本文是根据python官方教程中标准库模块的介绍，自己查询资料并整理，编写代码示例做出的学习笔记。

根据模块知识，一次讲解单个或者多个模块的内容。

教程链接：https://docs.python.org/zh-cn/3/tutorial/index.html

质量控制

质量控制(Quality Control, QC)，主要关注于提高代码质量、确保数据准确性和程序稳定性。

数据质量

数据质量是指数据满足其预定用途所要求的准确性、完整性、一致性、及时性和有效性的程度。良好的数据质量是数据分析、决策支持以及模型训练等过程成功的基础。把控数据质量主要包括以下几个方面：

数据质量的要素：

1. 准确性：数据是否正确无误，没有错误或偏差。
2. 完整性：数据集中是否存在缺失值或丢失的信息。
3. 一致性：数据内部及跨数据集之间是否存在矛盾或不匹配。
4. 时效性：数据是否是最新的，能否反映当前状况。
5. 有效性：数据是否符合预期的格式和范围，如日期格式正确、数值在合理范围内。
6. 唯一性：记录是否有重复。
7. 可追溯性：数据的来源和变更历史是否清晰可查。

如何把控数据质量：

1. 数据验证规则：定义一套数据验证规则，比如字段格式、范围限制、唯一性约束等，并在数据输入时或定期进行检查。
2. 数据清洗：使用Python中的Pandas等库进行数据清洗，包括处理缺失值、去除重复数据、纠正错误数据等。
3. 数据质量报告：定期生成数据质量报告，包括数据概况、缺失值统计、异常值检测等，以便监控数据质量变化。
4. 自动化检查：利用脚本或工具自动化执行数据质量检查任务，提高效率并减少人为错误。
5. 数据治理：建立数据治理框架，明确数据责任人，制定数据管理策略和流程，确保数据从源头到应用的每个环节都有质量控制。
6. 用户反馈循环：鼓励数据使用者反馈数据问题，建立快速响应机制，及时修正数据错误。
7. 持续监控：实施数据质量监控系统，对关键指标进行实时或定期监控，一旦发现数据质量问题立即报警并采取措施。

通过上述方法，可以在Python中有效地把控数据质量，确保数据分析和决策基于可靠的数据基础之上。

数据清洗

数据清洗是数据预处理的关键步骤，旨在识别并纠正数据集中的错误、不完整、不准确或无关的部分，以提升数据质量，确保后续分析或建模的准确性。
在Python中，数据清洗通常借助pandas库完成。

示例

1. 打开文件，read_xxx()。常用的入参就是文件路径和编码，如过有用到其他参数的用法，临时再学就好了。

import pandas as pd

# 打开一个名为"test.csv"的文件,没有就新建一个，我就是新建的
df = pd.read_csv('test.csv', encoding='gbk')

pd模块中还有很多read开头的函数，自行尝试。