使用Pytest和PySpark进行数据质量验证的4个技巧

📝 面试求职： 「面试试题小程序」 ，内容涵盖 测试基础、Linux操作系统、MySQL数据库、Web功能测试、接口测试、APPium移动端测试、Python知识、Selenium自动化测试相关、性能测试、性能测试、计算机网络知识、Jmeter、HR面试，命中率杠杠的。（大家刷起来…）

📝 职场经验干货：

软件测试工程师简历上如何编写个人信息（一周8个面试）

软件测试工程师简历上如何编写专业技能（一周8个面试）

软件测试工程师简历上如何编写项目经验（一周8个面试）

软件测试工程师简历上如何编写个人荣誉（一周8个面试）

软件测试行情分享（这些都不了解就别贸然冲了.）

软件测试面试重点，搞清楚这些轻松拿到年薪30W+

软件测试面试刷题小程序免费使用（永久使用）

---

我（作者）最近以质量工程师的身份参与了一个数据软件项目，该项目需要对转换后的数据进行大量测试。在这个项目中，AWS Glue用于将数据从一个Amazon S3存储桶转换到另一个。数据使用 Python（特别是PySpark ）进行转换；因此，用于测试这些转换的测试自动化框架依赖于相同的技术堆栈，并添加了Pytest，以实现内聚性。

介绍

对于上述项目，我的团队正在转换数据，以便第三方软件工具提取数据。为了确保成功导入数据，每个目标文件都有一份要求列表。每个目标文件都必须满足要求，否则软件将无法提取数据，然后数据将无法用于分析。

概述的要求帮助我们的团队确定将数据从源文件转换到目标文件的脚本应该是什么样子，但这并不能保证每个目标文件中的所有数据都满足所有要求。

数据差异可能会导致分析或将数据用于其他目的时产生偏差的结果。对于使用财务数据的项目而言，数据的可信度是绝对必要的。

那么就会出现以下问题：