基于国产服务器使用hive -testbench-hdp3工具测试hive的TPCDS

目的

使用hive-testbench测试TPC-DS。

测试环境

1、Ambari2.7.6

2、集群未启用kerberose

3、长城DF729服务器、kylinV10SP1操作系统，建设的虚拟服务器。配置为：16c32g/200G

前提：

Hdp-3.0.0已经安装

Hive-3.1.0已经安装

Hdfs-3.1.0已经安装

Maven，如果未安装在tpcds-build时，自动安装

yum -y install gcc gcc-c++

下载hive -testbench-hdp3.zip ，根据自己安装的环境下载对应的测试套件 GitHub - hortonworks/hive-testbench

部署：

上传安装包，并编译

unzip hive -testbench-hdp3.zip

cd hive -testbench-hdp3

./tpcds-build.sh

生成数据和查询sql。(这里指定的rcfile的格式，/data/tpcds-generate此路径是在HDFS上面的路径，而非本地路径)

export FORMAT=rcfile

bash -x tpcds-setup.sh 2 /data/tpcds-generate

FORMAT=rcfile：代表数据文件格式，export FORMAT=rcfile可以不需要；默认生成是orc文件格式

2：代表生成10G数据

/data/tpcds-generate：代表生成数据的目录

默认数据格式为ORC，想要切换格式可以执行。

cd hive-testbench

FORMAT=textfile ./tpcds-setup.sh

or

cd hive-testbench

FORMAT=parquet ./tpcds-setup.sh 2

验证测试：

生成数据的案例