大数据最全大数据基础-测试方法_大数据测试教程(1)_大数据存储是否需要测试-优快云博客

本文链接：https://blog.youkuaiyun.com/tencentes/article/details/138433170

当数据加载进行HDFS后,mapreduce开始对来自不同数据源的数据进行处理。在这个过程中可能会出现mapreduce处理过程中的编码问题，如在单一节点上运行正确，在多个节点上运行不正确的问题，包括不正确的聚合，节点配置，输出格式等。针对于这个阶段的问题，可采用以下验证手段：

验证梳理数据处理正常完成，输出文件正常得到；
在单个节点上验证大数据的业务逻辑，进而在多节点上进行相同验证；
验证mapreduce处理过程的key/value对是否正确生产；
在reduce过程结束后验证数据的聚集合并是否正确；
通过源文件验证输出数据来保证数据处理正确完成；
按照大数据业务所需，验证输出数据文件格式是否符合要求。

c、验证大数据ETL到数据仓库

当mapreduce过程结束后，产生的数据输出文件讲被按需移至数据仓库或其它的事务型系统.在此过程中，可能会由于不正确地应用转换规则，从HDFS中提取的数据不完全而带来问题。针对于这个阶段的问题可采用以下方法：

验证转换规则是否正确应用；
通过比较目标表数据和HDFS文件数据来验证是否有数据损坏；
验证目标系统数据加载是否成功；
验证目标系统的数据完整性。

d、验证分析报告

从数据仓库或者hive中得到的数据，可通过报表工具得到分析报告；这个过程可能会产生报表定义不能达到要求的报表数据问题；在这个过程中可通过查询来验证报表是否满足业务要求。

二、非功能性测试

由于大数据面向具体行业的应用，除了功能性测试，在整个大数据处理框架下需要进行非功能性测试，以下几种;

a、性能测试

性能是评估一个大数据分析系统的最为关键的维度，大数据系统性能主要包括吞吐量，任务完工时间，内存利用率等多个指标，可反应大数据分析平台的处理能力，资源利用能力等性能。可通过hadoop性能监控器来监测运行状态性能指标和瓶颈问题，性能测试采用自动化化方式进行，测试系统在不同负载情况下的性能。

b、容错性测试

可从部分失效中自动恢复，而且不会验证的影响整体性能，特别地，当故障发生时，大数据分析系统应该在进行恢复的同时继续以可接受的方式进行操作，在发生错误时某种程度上可以继续操作，需根据应用场景来设计解决方案和具体部署，然后手动测试。

c、可用性测试

高可用性已是大数据分析不可或缺的特性之一，从而保证数据应用业务的连续性.大数据高可用性对很多应用非常关键，需要严格进行测试和验证，以手动测试为主。

d、扩展性测试

弹性扩展能力对于大数据时代的文件系统尤其重要，文件系统扩展性测试主要包括测试系统弹性扩展能力(扩展/回缩)及扩展系统带来的性能影响，验证是否具有线性扩展能力,以手动测试为主。

e、稳定性测试

大数据分析系统通常是不间断长期运行，稳定性的重要性不言而喻，稳定测试主要验证系统在长时间(7/30/180/365*24)允许下，系统是否仍然能够正常运行，功能是否正常.稳定性测试通常采用自动化方式进行，LTP，10ZONE，POSTMARK,FIO等工具对测试系统产生负载，同时需要验证功能。

f、部署方式测试

大数据具备scale-out的特点，能够构建大规模，高性能的文件系统集群。针对不同应用和解决方案，文件系统部署方式会有显著不同；部署方式测试需要测试不同场景下的系统部署方式，包括自动安装配置，集群规模，硬件配置(服务器,存储，网络),自动负载均衡等，这部分测试不大可能进行自动化测试，需要根据应用场景来设计解决方案和具体部署，再进行手动测试。

g、数据一致性测试

这里的数据一致性是指文件系统中的数据与从外部写入前的数据保持一致，即写入数据与读出数据始终是一致的.数据一致性能够表明文件系统可保证数据的完整性，不会导致数据丢失或数据错误，这是文件系统最基本的功能，测试可用diff,md5sum编写脚本自动化测试，LTP也提供了数据一致性的测试工具。

h、压力测试