tpc-ds基准测试案例-hive

最新推荐文章于 2025-05-09 14:02:07 发布
置顶 最新推荐文章于 2025-05-09 14:02:07 发布
阅读量3.8k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： hive t p c -d s
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangyijie11/article/details/89153401
本文档详细介绍了如何在Hdp-3.0.0和Hive-3.1.0环境下进行TPC-DS基准测试。内容包括环境准备、测试套件下载与编译、数据生成（如生成10G或1TB数据）以及查询执行的步骤，特别提示了在生成数据和执行查询过程中的注意事项。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

环境条件及测试套件准备

  • Hdp-3.0.0
  • Hive-3.1.0
  • Hdfs-3.1.0
  • Maven，如果未安装在tpcds-build时，自动安装
  • 下载hive -testbench-hdp3.zip ，根据自己安装的环境下载对应的测试套件  https://github.com/hortonworks/hive-testbench

 

 

编译并打包相应的数据生成器

# unzip hive -testbench-hdp3.zip

# cd hive -testbench-hdp3

最低0.47元/天 解锁文章

200万优质内容无限畅学
在Hive/Spark上运行执行TPC-DS基准测试 (ORC和TEXT格式）
Laurence的技术博客
08-14 1327
目前，在Hive/Spark上运行TPC-DS Benchmark主要是通过早期由Hortonworks维护的一个项目：hive-testbench 来完成的。本文我们以该项目为基础介绍一下具体的操作步骤。不过，该项目仅支持生成ORC和TEXT格式的数据，如果需要Parquet格式，请参考此文《在Hive/Spark上执行TPC-DS基准测试 (Parquet格式）》。
Leming TPC-DS 基准测试
weixin_40177181的博客
01-09 549
Leming TPC-DS 基准测试工具支持数据库联机事务处理能力测试和联机分析能力测试，可为电商、证券、银行等企业的数据库产品与硬件设备提供最佳的组合方案（包含分布式数据库架构）。
适用于 AWS Redshift 的 TPC-DS 基准测试
hezhiming1995的博客
08-25 1451
适用于 AWS Redshift 的 TPC-DS 基准测试1. 组件环境1.1 什么是TPC-DS？1.2 TPC-DS的特性1.3 TPC-DS 基准测试维度1.4 TPC-DS 测试表数据详情2. 测试流程2.1 申请TPC官方Benchmark工具包及文档2.2 安装TPC-DS工具包 （base on Linux）2.3 修改建表语句，使其符合 AWS Redshift 标准的DDL2.4 构建测试数据集2.5 加载数据到Redshift中2.6 生成Redshift标准查询流3. 修改为Red.
TPC-DS v2.13.0rc1基准测试工具详解与应用
最新发布
weixin_35189483的博客
05-09 697
TPC-DS，即决策支持基准测试，是Transaction Processing Performance Council（TPC）的一个重要组成部分。其历史可追溯到1990年代，当时TPC首次引入了TPC-C，这是一个用于评估OLTP（在线事务处理）性能的基准。随着数据仓库和决策支持系统的发展，TPC在1999年推出了TPC-D，而TPC-DS则是其后续版本，专门针对大规模数据集的决策支持系统。数据生成器的首要功能是定义数据类型和数据规模。
从头开始系列(二)--数据基准测试篇之TPC-DS
weixin_42028303的博客
04-24 4400
从头开始系列—数据基准测试篇之TPC-DS标签（空格分隔）： 大数据 从头开始系列1、准备工具TPC-DS不多做介绍了，根据官方提供得文档我们可以看到：可以做Ad hocOLAP查询等等，那么在大数据领域，我们可以使用TPC-DS来生成海量数据，并且使用它提供得测试语句来完成性能得基准测试。再官方网站下载相关软件包：http://www.tpc.org/tpc_documents_current_...
大数据基准测试 TPC-H、TPC-DS
10-21 3543
大数据框架，多支持SQL on模式，如何测试？可参考使用TPC-H、TPC-DS。 TPC-DS测试基准是TPC组织推出的用于替代TPC-H的下一代决策支持系统（OLAP）测试基准。 参考： http://www.youkuaiyun.com/article/2015-05-14/2824680
TPC-DS 2.0第一个基于SQL的大数据系统基准测试标准
weixin_34082695的博客
03-09 304
今天（译注：December 17, 2015），TPC发布了第一个衡量基于SQL的大数据系统性能的工业基准测试标准，TPC-DS 2.0。构建在充分研究的TPC-DS之上，2.0版本特别针对基于SQL的大数据而设计、同时保留了所有用于支持基准测试决策的关键特性。在过去的两年中，Hadoop社区已经部分采用前面TPC-DS 1.0版的成果来表征性能。它有着丰富的模式和广泛的适...
TPC-DS tools压测工具源码下载TPC-DS_Tools_v3.2.0.zip
06-22
TPC-DS（Transaction Processing Performance Council Decision Support）是大数据领域的一个标准基准测试套件，用于评估数据仓库系统的大数据处理性能。TPC-DS Tools是一款用于执行这些基准测试的工具，它提供了...
Hive+Tez任务内存溢出TPC-DS案例研究报告
ntfreesky的专栏
07-21 1254
基于Hive+Tez计算框架，执行大数据基准测试TPC-DS案例，出现内存溢出问题。通过对案例的分析定位，找出导致内存溢出的根本原因，并给出合理的解决方案。本文旨在协助开发人员后续在遇到Hive+Tez内存溢出问题时，能够起到一些指导和借鉴意义。
【Hive-Hive写入数据压测】使用hive-testbench对Hive的写入数据进行压测
weixin_53543905的博客
03-11 1768
在对Hive的语法及性能进行测试时，需要构造大量数据，我们可以使用生产指定数据量大小的数据。提供了两种基准测试的数据生成器和示例查询（我们使用TPC-DSTPC-DS：提供一个公平和诚实的业务和数据模型，99个案例。TPC-H：面向商品零售业的决策支持系统测试基准，定义了8张表，22个查询。（1）TPC-DS简介1、 TPC-DS采用星型雪花型等多维数据模式。2、TPC-DS包含7张事实表17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询。【Hive-Hive写入数据压测】使用hive-tes
如何进行TPS-DS测试
妙妙的博客
10-12 2666
1 简介 随着开源Hapdoop、Map/Reduce、Spark、HDFS、HBASE等技术的商用化，大数据管理技术得到了突飞猛进的发展。如何客观地比较不同数据管理系统，即大数据测试基准的选择，成为一个重要的研究课题。 事务性能管理委员会(TransactionProcessing Performance Council,TPC)，是目前最知名的非赢利的数据管理系统评测基准标准化组织。它定义了多...
TPC数据库评测基准四兄弟：C/H/E/DS
算力测评
07-09 803
TPC (Transaction Processing Performance Council) 创建于1988年。是一个非营利组织，成立的目的是定义事务处理和数据库的基准，并向业界发布客观、可验证的TPC性能数据。TPC基准测试用于评估计算机系统的性能，TPC发布结果。
TPC-DS测试包及tpc测试标准说明
09-01
DSTools.zip tpcds_1.3.1.pdf TPC测试标准说明.docx 大数据基准测试.docx等资料收集
hive-testbench-hive14.zip大数据TPCDS-99SQL自动测试脚本
02-25
hive-testbench-hive14.zip 大数据TPCDS自动测试脚本
hadoop2.7.3+hive1.2.1+spark2.0.1性能测试
03-17
hadoop2.7.3+hive1.2.1+spark2.0.1性能测试
TPC-DS 性能测试
qq_15138049的博客
08-22 3934
TPC-DS
TPC-C 、TPC-H、TPC-DS和SSB测试基准（Benchmark）介绍
Laurence的技术博客
12-06 4577
TPC是一个非盈利组织，致力于定义事务处理和数据库benchmark，其提供了面向不同应用场景的多种Benchmark: https://www.tpc.org/information/benchmarks5.asp 下图是对几个主要的benchmark的汇总： 接下来，我们着重介绍一上最广泛讨论的四种Benchmark.面向OLTP测试，也就是测试关系型数据库的数据集。面向OLTP测试，也就是测试分析型数据库/数据仓库的数据集，业务场景是“商品零售业”。TPC-H是一款面向商品零售业的决策支持系统测试
TPC-DS标准规范(2)
唐犁的博客
06-01 3956
TPC-DS是一套决策支持系统测试基准，主要针对零售行业。提供99个SQL查询（SQL99或2003），分析数据量大，测试数据与实际商业数据高度相似，同时具有各种业务模型（分析报告型，数据挖掘型等等）。国内目前相关的翻译文章较少。本文尝试对官网的TPC BENCHMARK DS Standard Specification（下称“原文”）进行翻译。翻译主要参照的是2017年发布的2.6.0版本。现在可以在 http://www.tpc.org/tpc_documents_current_versions/c
使用TPCDS或者hive-testbench-hdp3生成数据
weixin_44343217的博客
03-16 1128
下载官网可能需要连接外网VPN才能下载。将下载好的安装包解压到路径/opt/tpcds并改名字为tpcds3.2.0安装编译环境编译tpcds进入tools目录在该目录下执行make命令进行编译make生成数据，生成数据大小和生成数据目录按自己需求配置完成后进入生成数据的目录即可看到生成的数据。由于生成的数据不能直接导入数据库中，所以需要手动导入建表语句保存在tools目录下的tpcds.sql文件中，需做一定的修改。依次导入25张表的数据。存在的问题。
Hive实现TPC-DS基准测试存储库解析
资源摘要信息:"tpcds-benchmark 是一个包含 TPC-DS 基准测试的 Hive 实现的存储库。TPC-DS（Transaction Processing Performance Council Decision Support）基准测试是一套用于衡量决策支持系统性能的标准测试套件...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值