TPC-H on Hive

最新推荐文章于 2025-12-03 13:42:42 发布
原创 最新推荐文章于 2025-12-03 13:42:42 发布 · 165 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #performance #benchmark

本文介绍了TPC-H这一被广泛认可的数据库与数据仓库选型benchmark。TPC-H由一系列面向业务的数据查询和并发数据更新组成，对于评估系统的性能至关重要。文章还提及了Jia,Yuntao为Hive开发的TPC-H驱动程序，该驱动程序由一系列HQL文件构成，共包括22个benchmark。

TPC-H是数据库/数据仓库选型决策用的benchmark。它是世界公认的benchmark，由一套面向业务的数据查询和并发数据更新组成。百度文库里有个文档写的还不错。

 

Jia, Yuntao在HIVE-600中提交了TPC-H的hive driver。Driver由shell脚本作为bootstrap，由一系列HQL文件组成，总共22个benchmark。Driver中并不包含原始数据，需要使用TPC-H的DBGEN生成。

Hive导入TPC-H数据集（待补充）
lucyLee的博客
05-30 986
guhgiugv
TPC-H基准测试
提拉米苏的博客
11-23 961
TPC-H基准测试 cd /home/project/tpcd/dbgen ./dbgen -s 5 -f mv ./*.tbl /home/project/file/data5g Create external table lineitem (L_ORDERKEY INT, L_PARTKEY INT,L_SUPPKEY INT,L_LINENUMBER INT,L_QUANTITY DOUBLE,L_EXTENDEDPRICE DOUBLE,L_DISCOUNT DOUBLE,L_TAX DOUBLE,
TPC-H_on_Hive_2009-08-14.tar.gz
06-06
TPC-H_on_hive_2009-08-14.tar.gz,用于tpc hive测试工具
使用TPC-H 对hive进行基准测试
fancying的博客
03-02 3143
前言：由于实验的需要，需用TPC-H 对hive进行基准测试，过程记录如下 系统环境介绍：    centos7.4.1708    hadoop2.8.3 一个NameNode 四个DataNode    hive       1.2.2    mysql  5.7.20    TPC-H  2.17.3 A：安装配置a.  下载TPC-H源码tpch_2_17_3.zip，用来生成测试数据网址...
Hadoop流程---从tpch到hive
HuFeiHu
03-26 592
刚接触Hadoop，看了一周的Hadoop及其相应的组件，感觉效果不是很明显，于是将找个例子练一下手，跑一个流程，加深对hadoop的理解。       设计的流程如下：          TPC_H--->HdFS---->MapRecude---->Hive(paration)----->DB       即：从TPC_H生产10G的数据，将数据上传到HDFS中，编写MapR
Hive上的TPC-H基准测试工具
文件“TPC-H_on_Hive_2009-08-14.tar.gz”可能包含了一系列用于在Hive环境中实施TPC-H测试的相关工具和脚本。它允许数据库管理员和工程师在Hive搭建的数据仓库平台上测试其系统性能，通过TPC-H基准测试验证Hive的...
选择TPC-H作为Presto性能测试的benchmark
lucyLee的博客
05-29 1436
1. 絮絮叨叨 读书的时候，帮师兄打过下手：在不同的大数据组件上，执行TPC-H的benchmark，测试改造后的HDFS的性能 工作中，需要选择合适的benchmark对改造后的Presto进行测试 在benchmark的调研的过程中，又关注到了大名名鼎鼎的TPC-H 在学习的过程中发现，TPC提供了很多不同用处的benchmark，需要根据实际情况选择合适的benchmark 2. 什么是TPC 在TPC的官网首页，有这样一段介绍: The TPC is a non-profit corpor
TPC-H 基准测试
zerolbsony的博客
03-03 886
TPC-H 是美国交易处理效能委员会 TPC（Transaction Processing Performance Council）组织制定的用来模拟决策支持类应用的测试集。它包括一整套面向业务的 ad-hoc 查询和并发数据修改。TPC-H 根据真实的生产运行环境来建模，模拟了一套销售系统的数据仓库。该测试共包含 8 张表，数据量可设定从 1 GB~3 TB不等。其基准测试共包含了 22 个查询，主要评价指标为各个查询的响应时间，即从提交查询到结果返回所需时间。
使用TPC-H对Hive测试
weixin_34040079的博客
12-03 368
2019独角兽企业重金招聘Python工程师标准>>> ...
hive-benchmark：针对Apache Hive LLAP的自动化TPC-DS和TPC-H基准
02-28
使用步骤 先决条件 Hadoop 2.2或更高版本的群集或沙盒。 Apache Hive。 在15分钟到2天之间生成数据（取决于您选择的比例因子和可用的硬件）。 在您的系统路径中安装了gcc 。 如果您的系统没有，请使用yum或apt-get进行安装。 克隆 git clone https://github.com/kcheeeung/hive-benchmark.git && cd hive-benchmark/ 个别步骤 1.建立基准 建立您要使用的基准（执行所有先决条件） TPC-DS ./tpcds-build.sh TPC-H ./tpch-build.sh 2.生成表 确定所需的数据量。 SCALE大约是＃〜GB。 支持的FORMAT包括： orc和parquet 。 TPC-DS nohup sh util_tablegentpcds.sh 10 orc TP
基于hive-testbench实现TPC-DS测试
无名的博客
05-20 4859
基于hive-testbench实现TPC-DS测试 TPC-DS测试概述 TPC-DS测试基准是TPC组织推出的用于替代TPC-H的下一代决策支持系统测试基准。因此在讨论TPC-DS之前，先介绍一下TPC-H。 1. TPC-H TPC-H是一款面向商品零售业的决策支持系统测试基准，它定义了8张表，22个查询，遵循SQL92。TPC-H的数据模型如图4所示。TPC-H基准的数据库模式遵循第三范式...
Hive 基础命令和 TPC-H Benchmark
那闯
03-05 3299
Hive命令 1)创建表： create table tablename;   默认的分割符是 创建以\t为分割符的表:    e.g.   create table tablename(id int, name string)    row format delimited fields terminated by '\t' 2)插入： load data [local] in
TPC-H 使用
热门推荐
leixingbang的专栏
04-07 2万+
本教程主要帮助读者完成以下目标： （1）了解TPC-H的由来与简介 （2）给出dbgen Qgen的使用教程，并在windows操作系统、sqlserver2005数据库环境下生成指定规模大小的数据集，利用脚本导入数据库，建立好表的各种关联关系。 （3）给出TPC-H的中文文档翻译以及各种优秀论文推荐链接。
Hive的TPC-DS和TPC-H基准测试工具
建模分析师胡选来
03-02 3048
wget https://github.com/hortonworks/hive-testbench/archive/hive14.zip unzip hive14.zip cd hive-testbench-hive14/ ./tpcds-build.sh ./tpcds-setup.sh 1000 //生成1000G的hive表数据集 FORMAT=parquet .
TPC-H测试数据表生成，以及在Impala中的使用
Dreamming Time的博客
05-11 6931
一、下载TPCH生成工具 官方网址：http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp 本文中安装的是： TPC-H 2.17.1 pdf Download TPCH_Tools.zip 可通过wget、curl来获取安装包。 【注】获取包地址，需要填写Email信息进行申请，无伤
datagrip访问远程hive库
weixin_38383877的博客
11-30 227
1、hadoop在虚拟机的ubuntu系统中安装好并启动成功后，可以在本地使用master:9870进行访问。五、若只显示default数据库，需要hive库中显示所有数据库，进行设置，选择apply。2、hive数据库可以使用安装在ubuntu系统中dbeaver-ce进行访问。
7.1 Hive内置函数
最新发布
howard2005的专栏
12-03 354
本次 Hive 内置函数实战全面覆盖数学、日期、字符串、条件、聚合及集合统计等类别，通过大量示例验证了函数在数据清洗、转换、分析中的强大能力。重点掌握了 `collect_set` 与 `collect_list` 在去重与保留重复场景下的差异应用，熟练运用 `regexp_replace`、`parse_url`、`get_json_object` 等函数处理非结构化数据，并通过 `percentile`、`var_pop` 等实现统计分析。
TPC-H-TOOLS：Hive数据生成与LLAP应用
TPC-H 工具可以用来为使用 Hive 和 LLAP 的系统生成测试数据，以便评估其性能。 ### 知识点三：安装与使用 TPC-H 工具 1. **安装过程**：安装 TPC-H 工具通常涉及下载对应版本的安装包，根据操作系统环境解压并...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值