hibench是hadoop的基准测试框架

最新推荐文章于 2023-08-19 13:16:33 发布
最新推荐文章于 2023-08-19 13:16:33 发布
阅读量2.4k 收藏 1
点赞数
分类专栏： 测试工具
本文详细介绍如何在CDH5.5环境下搭建HiBench测试框架，并针对YARN配置进行优化，以提升MapReduce作业效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hibench作为一个测试hadoop的基准测试框架，提供了对于hive：（aggregation，scan，join），排序（sort，TeraSort），大数据基本算法（wordcount，pagerank，nutchindex），机器学习算法（kmeans，bayes），集群调度（sleep），吞吐（dfsio），以及新加入5.0版本的流测试：
we provide following streaming workloads for SparkStreaming, Storm .
这里写图片描述

一个完整的TeraSort测试需要按以下三步执行：

  • 用TeraGen生成随机数据
  • 对输入数据运行TeraSort
  • 用TeraValidate验证排好序的输出数据

所有hibench测试基本都是这样的流程，生成数据，运行，输出结果。

3.2 配置并编译HiBench

从GitHub下载HiBench开源包，本篇会基于HiBench-5.0为例。https://github.com/intel-hadoop/HiBench。如果是基于CDH 5.5测试，建议使用HiBench-5.0，其中包含了Spark 1.5的编译包。

编译

  • 添加JAVA_HOME 环境变量
  • 注释掉${HIBENCH_HOME} /src/streambench/pom.xml中两行
<!-- <module>stormbench</module> -->
<!-- <module>samzabench</module> -->
  • 1
  • 2
  • 调用编译脚本：${HIBENCH_HOME}/bin/build-all.sh

配置

  • 编辑 HiBench Configuration File：

    cd ${HIBENCH_HOME}/conf

    cp 99-user_defined_properties.conf.template 99-user_defined_properties.conf

    编译配置文件，如下修改一些参数：

    hibench.hadoop.home      /opt/cloudera/parcels/CDH/lib/hadoop
    hibench.hadoop.mapreduce.home       /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce
    hibench.spark.home       /opt/cloudera/parcels/CDH/lib/spark
    hibench.hdfs.master       hdfs://cdh-node-11.cdhtest.com
    hibench.hadoop.configure.dir       /etc/hadoop/conf
    hibench.masters.hostnames       master # Resource Manager addresses
    hibench.slaves.hostnames       hostname…

    # Node Manager addresses

    hibench.spark.master       yarn-client
    hibench.spark.version       spark1.6
    spark.kryoserializer.buffer       2000m # 否则会出现大量spark.kryoserializer.buffer.mb被启用的警告
    hibench.streamingbench.zookeeper.host       zookeeper-hostnames
    hibench.streamingbench.brokerList       all-hostnames
    hibench.streamingbench.kafka.home       /opt/cloudera/parcels/KAFKA

  • 修改benchmarks.lst文件，只运行有必要的测试集，例：

    #aggregation
    #join
    #kmeans
    #pagerank
    #scan
    #sleep
    sort
    wordcount
    #bayes
    terasort
    #nutchindexing
    dfsioe

  • 修改language.lst文件，只运行有必要的语言

    cd ${HIBENCH_HOME}/conf

    在language.lst文件中，将以下两行删除

    spark/java
    spark/python

  • 修改load-config.py文件，确保Bench在运行时能找到唯一的包：

    $HiBench-Home/bin/functions/load-config.py

    将hadoop-mapreduce-client-jobclient*-tests.jar改为hadoop-mapreduce-client-jobclient-tests.jar

  • Bench在运行时有一些固化的目录和CDH不一致，需要建立目录引用

    建立目录引用

    mkdir -p /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/share/hadoop
    cd /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/share/hadoop
    ln -sf /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce mapreduce2

  • Bench会在HDFS根目录下生成文件，将HDFS的根目录权限修改为777：

    sudo -u hdfs hadoop fs -chmod 777 /

  • （可选）如果在Kerberos启用的状况下，请增加以下步骤：

    # 设置环境变量
    export HIBENCH_HOME=/root/Downloads/HiBench-master
    export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
    export JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/CDH/lib/hadoop/lib/native
    export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/cloudera/parcels/CDH/lib/hadoop/lib/native
    export SPARK_YARN_USER_ENV=”JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH,LD_LIBRARY_PATH=$LD_LIBRARY_PATH”

    # 重新登录Kerberos
    kdestroy
    kinit -k -t

运行

  • 命令行输入
    ${HIBENCH_HOME}/bin/run-all.sh

3.3 HiBench基本优化配置

**优化基本原则** 在固定数据量的前提下，一般设置成让MapReduce作业在一轮Map、Reduce内结束，否则会增加MapReduce进程的调度开销。但如果输入的数据量过大，有可能会因为单个Map或者Reduce的内存消耗过大而到时严重的GC问题，这个需要在运行时对Map或者Reduce任务进程需要监测。 **YARN基本配置**

––
NodeManagerContainer vCores数量就是系统的virtual core的数量
Container Memory配置成节点上可用内存的75%到80%之间（如128GB的机器，可以设置96GB）
ResourceManagerFair Scheduler调度器
最小容器内存1GB
最小容器CPU 1个核
最大容器内存=NodeManager Container内存的75%~80%
最大容器CPU=NodeManager Container CPU的75%~80%
增量内存512MB
增量CPU 1个核
Gatewaymapreduce.map/reduce.max.mb = 2GB
mapreduce.map/reduce.java.opts = max.mb * 0.8

附录（CDH 相关目录结构功能简介）

**1.相关目录**

/var/log/cloudera-scm-installer : 安装日志目录。
/var/log/* : 相关日志文件（相关服务的及CM的）。
/usr/lib64/cmf/ : Agent程序代码。
/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。
/usr/bin/postgres : 内嵌数据库程序。
/etc/cloudera-scm-agent/ : agent的配置目录。
/etc/cloudera-scm-server/ : server的配置目录。
/etc/clouder-scm-server/db.properties 默认元数据库用户名密码配置
/opt/cloudera/parcels/ : Hadoop相关服务安装目录。
/opt/cloudera/parcel-repo/ : 下载的服务软件包数据，数据格式为parcels。
/opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据。
/etc/hadoop/* : 客户端配置文件目录。

**2.配置**

  • Hadoop配置文件：

配置文件放置于/var/run/cloudera-scm-agent/process/目录下。如：

/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml

这些配置文件是通过Cloudera Manager启动相应服务（如HDFS）时生成的，内容从数据库中获得（即通过界面配置的参数）。

在CM界面上更改配置是不会立即反映到配置文件中，这些信息会存储于数据库中，等下次重启服务时才会生成配置文件。且每次启动时都会产生新的配置文件。

CM Server主要数据库为scm基中放置配置的数据表为configs。里面包含了服务的配置信息，每一次配置的更改会把当前页面的所有配置内容添加到数据库中，以此保存配置修改历史。

scm数据库被配置成只能从localhost访问，如果需要从外部连接此数据库，修改

vim /var/lib/cloudera-scm-server-db/data/pg_hba.conf

文件,之后重启数据库。运行数据库的用户为cloudera-scm。

  • 查看配置内容

直接查询scm数据库的configs数据表的内容。
访问REST API： http://hostname:7180/api/v4/cm/deployment，返回JSON格式部署配置信息。

  • 配置生成方式

CM为每个服务进程生成独立的配置目录（文件）。所有配置统一在服务端查询数据库生成（因为scm数据库只能在localhost下访问）生成配置文件，再由agent通过网络下载包含配置文件的zip包到本地解压到指定的目录。

  • 配置修改
    CM对于需要修改的配置预先定义，对于没有预先定义的配置,则通过在高级配置项中使用xml配置片段的方式进行配置。而对于/etc/hadoop/下的配置文件是客户端的配置，可以在CM通过部署客户端生成客户端配置。

    1. 数据库
      Cloudera manager主要的数据库为scm,存储Cloudera manager运行所需要的信息：配置，主机，用户等。

    2. CM结构
      CM分为Server与Agent两部分及数据库（自带更改过的嵌入Postgresql）。它主要做三件事件：
      管理监控集群主机。
      统一管理配置。
      管理维护Hadoop平台系统。
      实现采用C/S结构，Agent为客户端负责执行服务端发来的命令，执行方式一般为使用python调用相应的服务shell脚本。Server端为Java REST服务，提供REST API，Web管理端通过REST API调用Server端功能，Web界面使用富客户端技术（Knockout）。
      Server端主体使用Java实现。
      Agent端主体使用Python, 服务的启动通过调用相应的shell脚本进行启动，如果启动失败会重复4次调用启动脚本。
      Agent与Server保持心跳，使用Thrift RPC框架。

    3. 升级
      在CM中可以通过界面向导升级相关服务。升级过程为三步：
      1.下载服务软件包。
      2.把所下载的服务软件包分发到集群中受管的机器上。
      3.安装服务软件包，使用软链接的方式把服务程序目录链接到新安装的软件包目录上。

    4. 卸载
      sudo /usr/share/cmf/uninstall-scm-express.sh, 然后删除/var/lib/cloudera-scm-server-db/目录，不然下次安装可能不成功。

    5. 开启postgresql远程访问
      CM内嵌数据库被配置成只能从localhost访问，如果需要从外部查看数据，数据修改vim /var/lib/cloudera-scm-server-db/data/pg_hba.conf文件,之后重启数据库。运行数据库的用户为cloudera-scm。

参考文献

1.CDH官方文档
2.http://www.cloudera.com/documentation.html
3.CDH5.8官方文档 http://www.cloudera.com/documentation/enterprise/latest.html
4.http://blog.selfup.cn/1631.html#comment-403
5.https://github.com/intel-hadoop/HiBench

--------------------- 作者：shiter 来源：优快云 原文：https://blog.youkuaiyun.com/wangyaninglm/article/details/52729682?utm_source=copy 版权声明：本文为博主原创文章，转载请附上博文链接！

实例演示使用HiBench对Hadoop集群进行基准测试
Sicilly的博客
03-28 3383
HiBench 一、简介 HiBench 是一个大数据基准套件，可帮助评估不同的大数据框架的速度、吞吐量和系统资源利用率。 它包含一组 Hadoop、Spark 和流式工作负载，包括 Sort、WordCount、TeraSort、Repartition、Sleep、SQL、PageRank、 Nutch indexing、Bayes、Kmeans、NWeight 和增强型 DFSIO 等。 它还包含多个用于 Spark Streaming 的流式工作负载、Flink、Storm 和 Gearpump。
Benchmark笔记（1）--Ubuntu上使用HiBench对Hadoop集群进行基准测试
m0_52656014的博客
05-15 1317
HiBench 是一个大数据基准套件，可帮助评估不同的大数据框架的速度、吞吐量和系统资源利用率。 它包含一组 Hadoop、Spark 和流式工作负载，包括 Sort、WordCount、TeraSort、Repartition、Sleep、SQL、PageRank、 Nutch indexing、Bayes、Kmeans、NWeight 和增强型 DFSIO 等。 它还包含多个用于 Spark Streaming 的流式工作负载、Flink、Storm 和 Gearpump。 hibench作为一个
hibench大数据性能测试工具
04-15
大数据性能测试工具，压缩包里包含安装工具及测试说明
HIbench
jason的笔记
03-08 3626
HIbench 是一个大数据的benchmark测试的套件，用来测试框架的速度，吞吐率，资源利用率等。 其网站是https://github.com/intel-hadoop/HiBench 其支持的框架如下： 我这边以spark测试为例 下载Hibench  https://github.com/intel-hadoop/HiBench Hibench 遇到下面问题
【Hibench 】完成 HDP-Spark 性能测试
最新发布
康师傅没有眼泪
08-19 2283
HiBench是Intel推出的一个大数据基准测试工具，可以帮助评估不同的大数据框架在速度、吞吐量和系统资源利用方面评估不同的大数据框架的性能表现。它包含一组Hadoop、Spark和流式WorkLoads，包括Sort、WordCount、TeraSort、Repartition、Sleep、SQL、PageRank、Nutch索引、Bayes、Kmeans、NWeight和增强型DFSIO等。在进行Hibench的时候可以指定Spark和Scala的版本，通过如下参数指定。
Hadoop的生成经验调优和基准测试
勇敢牛牛，不怕困难！
02-24 1767
HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值为file://${hadoop.tmp.dir}/dfs/data，若服务器有多个磁盘，必须对该参数进行修改。数据统计主要用HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启的JVM重用，而且IO没有阻塞，内存用了不到50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉。，注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。
intel-hadoop/HiBench流程分析----以贝叶斯算法为例
weixin_33676492的博客
10-23 512
1.HiBench算法简介 Hibench 包含9个典型的hadoop负载（micro benchmarks,hdfs benchmarks,web search bench marks,machine learning benchmarks和data analytics benchmarks） 具体参考CDH集群安装&测试...
Hibench大数据基准测试手册 - 修订1.docx
09-11
例如，运行`bin/run.sh hibench hadoop_benchmark`即可启动Hadoop基准测试。 ##### 2.3 运行Spark基准测试 对于Spark基准测试，除了上述步骤外，还需要配置Spark环境并确保Hibench能够识别到Spark集群。 1. **...
Hadoop常用测试集HiBench配置指南
jbb_123的博客
12-17 4383
Hibench是一个大数据 benchmark 套件，用来测试各种大数据框架的速度，吞吐量，系统资源利用率。  它支持的框架有：hadoopbench、sparkbench、stormbench、flinkbench、gearpumpbench。 hibench作为一个测试hadoop的基准测试框架，提供了对于hive：（aggregation，scan，join），排序（sort，TeraSo...
HiBench：Hadoop集群性能分析工具
"HiBench是一个用于基准测试和性能分析的开源工具，主要用于评估和比较大数据处理框架，如Hadoop和Spark的性能。这个工具集由Intel China Software Center开发，旨在提供一个标准化的平台来衡量Hadoop集群的性能、...
HiBench简介！！！！！！
11-26
有关HiBench的说明。有关HiBench的说明。有关HiBench的说明。
大数据测试学习笔记之基准测试HiBench
zhusongziye的博客
03-19 4560
简介HiBench是一套基准测试套件，用于帮助我们评估不同的大数据框架性能指标（包括处理速度、吞吐等）的负载指标，可以评估Hadoop、Spark和流式负载等，具体的工作负载有：SortWordCountTeraSortSleepSQLPageRankNutch indexingBayesKmeansNWeightenhanced DFSIO等等同样的它还可以用于评估Spark Stream、Fl...
Hadoop常用测试集HiBench配置
qq_57004894的博客
11-10 1462
软件依赖于Java环境和maven管理 前提条件：java环境已经搭建好和maven已经安装配置 1.解压HiBench-master安装包 unzip HiBench-master.zip 2.配置Hibench 主要配置conf/hadoop.conf及conf/hibench.conf两个文件 (1)配置hadoop.conf cd /home/ZNL/HiBench-master/conf vim hadoop.conf (2)配置hibench.conf vim hib
Hibench简易教程
xueqiu1141的博客
04-29 923
1.准备 Hibench-7.0 https://github.com/Intel-bigdata/HiBench/archive/HiBench-7.0.tar.gz Hadoop-2.7.5 https://github.com/apache/hadoop/archive/rel/release-2.7.5.tar.gz spark-2.3.0-bin-hadoop2.7 https://ar...
Hibench使用
wenwenxiong的专栏
08-28 8147
Hibench是一个大数据 benchmark 套件，用来测试各种大数据框架的速度，吞吐量，系统资源利用率。 它支持的框架有：hadoopbench、sparkbench、stormbench、flinkbench、gearpumpbench。参考网址：https://github.com/intel-hadoop/HiBench https://github.com/intel-hadoop/H
大数据平台CDH性能测试之Hibench
测试小菜蝶
08-24 4000
CDH性能测试之HiBenchHiBench简介 在大数据领域，集群的性能主要是整体的网络和数据吞吐量决定的。使用Hibench测试时，使用传统电口千兆网络的任务，运行时间比光网任务慢10s左右。Hibench是用来衡量CDH性能的基准测试集，包含：文件系统IO性能，系统的批处理吞吐，数据仓库OLAP分析算子，机器学习的处理能力，以及流处理系统的能力。 HiBench简介 Hibench是Intel推出的大数据基准测试工具，提供对hive（aggregation，scan，join），排序（sort，TER
大数据基准测试工具HiBench部署与测试
Faith_xzc
03-17 5587
本文介绍了大数据基准测试工具HiBench的部署，并进行了测试。欢迎大家交流讨论！
浅析HiBench 的 3个 SQL测试用例 （Hive）及升级HiBench的Hive版本
Yannick Jiang 的专栏
03-26 2104
一、前言 分析HiBench 的 Hive测试用例 sql （包括scan/join/aggregation），版本 HiBench6.0 Hadoop版本：v2.7.1 Spark版本：v2.1 二、需要解决的问题 1. 跑 HiBench 的测试用例 sql 需要 手动安装Hive吗？ 不需要，HiBench 会自动下载 pom.xml文件里的Hive版本。 2. HiBen...
如何使用HiBench进行基准测试
liweiminlining的专栏
01-03 351
大数据性能测试工具
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值