TPC-H on Hive

最新推荐文章于 2025-07-18 10:28:15 发布
原创 最新推荐文章于 2025-07-18 10:28:15 发布 · 154 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #performance #benchmark

本文介绍了TPC-H这一被广泛认可的数据库与数据仓库选型benchmark。TPC-H由一系列面向业务的数据查询和并发数据更新组成，对于评估系统的性能至关重要。文章还提及了Jia,Yuntao为Hive开发的TPC-H驱动程序，该驱动程序由一系列HQL文件构成，共包括22个benchmark。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

TPC-H是数据库/数据仓库选型决策用的benchmark。它是世界公认的benchmark，由一套面向业务的数据查询和并发数据更新组成。百度文库里有个文档写的还不错。

 

Jia, Yuntao在HIVE-600中提交了TPC-H的hive driver。Driver由shell脚本作为bootstrap，由一系列HQL文件组成，总共22个benchmark。Driver中并不包含原始数据，需要使用TPC-H的DBGEN生成。

【Hive-Hive写入数据压测】使用hive-testbench对Hive的写入数据进行压测
weixin_53543905的博客
03-11 1769
在对Hive的语法及性能进行测试时，需要构造大量数据，我们可以使用生产指定数据量大小的数据。提供了两种基准测试的数据生成器和示例查询（我们使用TPC-DSTPC-DS：提供一个公平和诚实的业务和数据模型，99个案例。TPC-H：面向商品零售业的决策支持系统测试基准，定义了8张表，22个查询。（1）TPC-DS简介1、 TPC-DS采用星型雪花型等多维数据模式。2、TPC-DS包含7张事实表17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询。【Hive-Hive写入数据压测】使用hive-tes
Hive-testbench套件使用文档
sdssee的博客
11-05 1382
hive-testbench 是hortonworks的一个开源项目，用于测试和基准测试 Apache Hive 的工具集。它提供了一系列的测试数据集和查询样例，用于评估和比较 Hive 在不同配置和环境下的性能。hive-testbench 的主要目标是模拟真实的大规模数据集和复杂查询场景，以帮助用户评估和优化 Hive 的性能。
TPC-H_on_Hive_2009-08-14.tar.gz
06-06
TPC-H_on_hive_2009-08-14.tar.gz,用于tpc hive测试工具
使用TPC-H 对hive进行基准测试
fancying的博客
03-02 3101
前言：由于实验的需要，需用TPC-H 对hive进行基准测试，过程记录如下 系统环境介绍：    centos7.4.1708    hadoop2.8.3 一个NameNode 四个DataNode    hive       1.2.2    mysql  5.7.20    TPC-H  2.17.3 A：安装配置a.  下载TPC-H源码tpch_2_17_3.zip，用来生成测试数据网址...
Hive导入TPC-H数据集（待补充）
lucyLee的博客
05-30 931
guhgiugv
Hadoop流程---从tpch到hive
HuFeiHu
03-26 496
刚接触Hadoop，看了一周的Hadoop及其相应的组件，感觉效果不是很明显，于是将找个例子练一下手，跑一个流程，加深对hadoop的理解。       设计的流程如下：          TPC_H--->HdFS---->MapRecude---->Hive(paration)----->DB       即：从TPC_H生产10G的数据，将数据上传到HDFS中，编写MapR
Hive上的TPC-H基准测试工具
文件“TPC-H_on_Hive_2009-08-14.tar.gz”可能包含了一系列用于在Hive环境中实施TPC-H测试的相关工具和脚本。它允许数据库管理员和工程师在Hive搭建的数据仓库平台上测试其系统性能，通过TPC-H基准测试验证Hive的...
[Hive]四、Hive On Tez
weixin_44428807的博客
08-26 1279
用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。2）拷贝apache-tez-0.9.1-bin.tar.gz到hadoop102的/opt/software目录。Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。3）将apache-tez-0.9.1-bin.tar.gz上传到HDFS的/tez目录下。下面创建一个tez-site.xml文件。
使用TPC-H对Hive测试
weixin_34040079的博客
12-03 352
2019独角兽企业重金招聘Python工程师标准>>> ...
hive-benchmark：针对Apache Hive LLAP的自动化TPC-DS和TPC-H基准
02-28
使用步骤 先决条件 Hadoop 2.2或更高版本的群集或沙盒。 Apache Hive。 在15分钟到2天之间生成数据（取决于您选择的比例因子和可用的硬件）。 在您的系统路径中安装了gcc 。 如果您的系统没有，请使用yum或apt-get进行安装。 克隆 git clone https://github.com/kcheeeung/hive-benchmark.git && cd hive-benchmark/ 个别步骤 1.建立基准 建立您要使用的基准（执行所有先决条件） TPC-DS ./tpcds-build.sh TPC-H ./tpch-build.sh 2.生成表 确定所需的数据量。 SCALE大约是＃〜GB。 支持的FORMAT包括： orc和parquet 。 TPC-DS nohup sh util_tablegentpcds.sh 10 orc TP
TPC-H 基准测试
探讨探讨
12-29 1896
(1) 在 hive 中创建 hive 外部表，外部表的存储格式为 csv，并将生成的 csv 格式测试数据上传到对应表在 hdfs 上的数据存放目录中。其中，StarRocks Hive 外表和 Trino 查询的是同一份数据，数据采用 ORC 格式存储，采用 zlib 格式压缩。(2) 将存储格式为 CSV 的 Hive 外部表的数据转移到存储格式为 ORC 的 Hive 表中，以便后续在 StarRocks 和 Trino 中创建存储格式为 ORC 的 Hive 外表进行测试。
基于hive-testbench实现TPC-DS测试
无名的博客
05-20 4780
基于hive-testbench实现TPC-DS测试 TPC-DS测试概述 TPC-DS测试基准是TPC组织推出的用于替代TPC-H的下一代决策支持系统测试基准。因此在讨论TPC-DS之前，先介绍一下TPC-H。 1. TPC-H TPC-H是一款面向商品零售业的决策支持系统测试基准，它定义了8张表，22个查询，遵循SQL92。TPC-H的数据模型如图4所示。TPC-H基准的数据库模式遵循第三范式...
Hive 基础命令和 TPC-H Benchmark
那闯
03-05 3269
Hive命令 1)创建表： create table tablename;   默认的分割符是 创建以\t为分割符的表:    e.g.   create table tablename(id int, name string)    row format delimited fields terminated by '\t' 2)插入： load data [local] in
TPC-H测试数据表生成，以及在Impala中的使用
Dreamming Time的博客
05-11 6849
一、下载TPCH生成工具 官方网址：http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp 本文中安装的是： TPC-H 2.17.1 pdf Download TPCH_Tools.zip 可通过wget、curl来获取安装包。 【注】获取包地址，需要填写Email信息进行申请，无伤
TPC-H 使用
热门推荐
leixingbang的专栏
04-07 2万+
本教程主要帮助读者完成以下目标： （1）了解TPC-H的由来与简介 （2）给出dbgen Qgen的使用教程，并在windows操作系统、sqlserver2005数据库环境下生成指定规模大小的数据集，利用脚本导入数据库，建立好表的各种关联关系。 （3）给出TPC-H的中文文档翻译以及各种优秀论文推荐链接。
tpc-ds基准测试案例-hive
u011250186的博客
10-26 1328
环境条件及测试套件准备 Hdp-3.0.0 Hive-3.1.0 Hdfs-3.1.0 Maven，如果未安装在tpcds-build时，自动安装 下载hive -testbench-hdp3.zip ，根据自己安装的环境下载对应的测试套件https://github.com/hortonworks/hive-testbench 编译并打包相应的数据生成器 # unzip hive -testbench-hdp3.zip # cd hive -testbench-hdp3...
Hive的TPC-DS和TPC-H基准测试工具
建模分析师胡选来
03-02 3027
wget https://github.com/hortonworks/hive-testbench/archive/hive14.zip unzip hive14.zip cd hive-testbench-hive14/ ./tpcds-build.sh ./tpcds-setup.sh 1000 //生成1000G的hive表数据集 FORMAT=parquet .
hive分区表临时加载日批数据文件
最新发布
weixin_45357522的博客
07-18 716
源系统每日上传一个csv数据文件到数据中台指定目录，数据中台用hive表进行ETL工作。其它结构性数据文件CSV, JSON。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值