【Hive-Hive写入数据压测】使用hive-testbench对Hive的写入数据进行压测
1)前言
在对Hive的语法及性能进行测试时,需要构造大量数据,我们可以使用hive-testbench
生产指定数据量大小的数据。
1.1.hive-testbench介绍
hive-testbench
提供了两种基准测试的数据生成器和示例查询(我们使用TPC-DS
):
-
TPC-DS
:提供一个公平和诚实的业务和数据模型,99个案例。 -
TPC-H
:面向商品零售业的决策支持系统测试基准,定义了8张表,22个查询。
1.2.TPC-DS介绍
(1)TPC-DS简介
1、 TPC-DS采用星型、雪花型等多维数据模式。
2、TPC-DS包含7张事实表,17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询,覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、