大数据测试，我知道多少？

使用场景复杂，测试用例覆盖范围和实测要增强。

正文开始

1.什么是大数据

大数据是一个大的数据集合，通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种工具、技术和框架进行处理。大数据涉及数据创建、存储、检索、分析，而且它在数量、多样性、速度方法都很出色，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

图片

2.大数据测试类型

测试大数据应用程序更多的是验证其数据处理，而不是测试软件产品的个别功能。当涉及到大数据测试时，性能和功能测试是关键。
处理可以是三种类型：批量、实时、交互

在测试应用程序之前，有必要检查数据的质量，并将其视为数据库测试的一部分。它涉及检查各种字段，如一致性，准确性，重复，一致性，有效性，数据完整性等。

3.测试步骤

图片

步骤一：数据预处理验证
在进行大数据测试时，首先要预hadoop前验证数据的准确性等等。
我们数据来源可能是关系数据库、日志系统、社交网络等等，所有我们应该确保数据能正确的加载到系统中，我们要验证：
① 加载的数据和源数据是一致的
② 确保正确的提取和加载数据至hdfs中


步骤二：Map Reduce验证 

在进行大数据测试时，第二个关键步骤是“Map Reduce”验证。在本阶段，我们主要验证每一个处理节点的业务逻辑是否正确，并验证在多个运行后，确保：

① Map Reduce过程工作正常

② 数据聚合、分离规则已经实现

③ 数据key-value关系已正确生成

④ 验证经过map reduce后数据的准确性等特性


步骤三：结果验证
在本阶段主要验证在经过大数据工具/框架处理后，生成的最终数据的成果。
检查转换(Transformation)规则被正确应用
检查数据完整性和成功的数据加载到目标系统中

4.性能测试
查看更多请点击链接转至微信公众号：大数据测试针对性的测试策略