CDH数仓项目(四) —— 集群性能测试/资源管理/清理CDH集群

0 说明

本文基于《CDH数仓项目(一) —— CDH安装部署搭建详细流程》《CDH数仓项目(二) —— 用户行为数仓和业务数仓搭建》和《CDH数仓项目(三) —— Kerberos安全认证和Sentry权限管理》章节，本篇介绍些常见的性能测试和资源管理功能，及最后提供详细的卸载和清理CDH集群步骤

1 集群性能测试

1.1 DFSIO测试

在Hadoop中包含很多的基准测试，用来验证集群的HDFS是不是设置合理，性能是不是达到预期，DFSIO是Hadoop的一个基准测试工具，被用来分析集群HDFS的I/O性能。
DFSIO后台执行MapReduce框架，其中Map任务以并行方式读写文件，Reduce任务用来收集和汇总性能数字。可以通过这个基准测试对比吞吐量、IO速率的结果以及整个磁盘的原始速度，来确定你的集群是否得到了期待的性能。另外，可以通过这些测试中指标的严重偏差发现集群中一个或多个问题节点，结合监控系统一起使用能够更好的定位Hadoop集群的瓶颈所在。

1.1.1 写性能测试

执行如下命令进行测试，由于开启了kerberos认证，这里由hive用户进行测试

 kinit -kt /var/lib/hive/hive.keytab hive/hive

hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.0.0-cdh6.2.1-tests.jar TestDFSIO -Dtest.build.data=/user/hive/benchmark -write -nrFiles 100 -fileSize 10

1.1.2 读性能测试

性能基准测试针对HDFS的读操作进行，读操作将用到第一步的写操作，因此写操作必须在读操作之前执行。

hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.0.0-cdh6.2.1-tests.jar TestDFSIO -D test.build.data=/user/hive/benchmark -read -nrFiles 100 -fileSize 10

1.1.3 删除测试数据

hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.0.0-cdh6.2.1-tests.jar TestDFSIO -D test.build.data=/user/hive/benchmark -clean

1.2 TeraSort测试

Hadoop的TeraSort是一个常用的测试，目的是利用MapReduce来尽可能快的对数据进行排序。TeraSort使用MapReduce框架通过分区操作将Map过程