实例演示使用HiBench对Hadoop集群进行基准测试

本文链接：https://blog.youkuaiyun.com/weixin_37551036/article/details/123792414

本文详细介绍了如何使用HiBench对Hadoop集群进行基准测试，包括HiBench的介绍、环境检查、前置准备（安装Hadoop、Java、Maven、Python和bc）、HiBench的安装、配置、运行以及查看测试报告的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HiBench

一、简介

HiBench 是一个大数据基准套件，可帮助评估不同的大数据框架的速度、吞吐量和系统资源利用率。

它包含一组 Hadoop、Spark 和流式工作负载，包括
Sort、WordCount、TeraSort、Repartition、Sleep、SQL、PageRank、 Nutch indexing、Bayes、Kmeans、NWeight 和增强型 DFSIO 等。

它还包含多个用于 Spark Streaming 的流式工作负载、Flink、Storm 和 Gearpump。

工作负载类别：micro, ml(machine learning), sql, graph, websearch and streaming

支持的框架：Hadoop、Spark、Flink、Storm、Gearpum

二、检查环境

我的集群（ubuntu16）上已经安装了Hadoop所以本文只测试hadoopbench。

检查是否安装好了环境。如果缺少的话可以参考本文的 “前置准备” 进行安装。如果已经准备好环境，就直接从 “安装HiBench” 开始。

我的环境（供参考）：

软件	版本
hadoop	2.10（官方要求Apache Hadoop 3.0.x, 3.1.x, 3.2.x, 2.x, CDH5, HDP）
maven	3.3.9
java	8
python	2.7

三、前置准备

（说明：安装这些软件时我是在CentOS上测试的，如果你的机器不适用请参考其他教程来安装。）

安装hadoop

可以参考这篇文章来安装：https://www.jianshu.com/p/4e0dc91ad86e

安装java

下载java8的rpm

wget https://mirrors.huaweicloud.com/java/jdk/8u181-b13/jdk-8u181-linux-x64.rpm

rpm安装

rpm -ivh jdk-8u181-linux-x64.rpm

配java环境

vim /etc/profile

JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
CLASSPATH=%JAVA_HOME%/lib:%JAVA_HOME%/jre/lib
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export PATH CLASSPATH JAVA_HOME

使环境变量生效

source /etc/profile

安装maven

wget https://dlcdn.apache.org/maven/maven-3/3.8.5/binaries/apache-maven-3.8.5-bin.zip --no-check-certificate
unzip apache-maven-3.8.5-bin.zip -d /usr/local/
cd
vim .bashrc
source .bashrc
mvn -v

# set maven environment
export M3_HOME=/usr/local/apache-maven-3.5.0
export PATH=$M3_HOME/bin:$PATH

换阿里云镜像，加快下载速度

vi /usr/local/apache-maven-3.8.5-bin/conf/setting.xml

<mirrors>
       <mirror>  
       	  <id>alimaven</id>  
       	  <name>aliyun maven</name>  
       	  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  
       	  <mirrorOf>central</mirrorOf>  
   	</mirror>
</mirrors>

安装python

原本有python3.7.3，想换成2.7，所以安装pyenv用于管理多个python

如果原本就是2.7就不需要换了

yum -y install git
git clone https://gitee.com/krypln/pyenv.git   ~/.pyenv
echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc
echo -e 'if command -v pyenv 1>/dev/null 2>&1; then\n eval "$(pyenv init -)"\nfi' >> ~/.bashrc
exec $SHELL
mkdir $PYENV_ROOT/cache && cd $PYENV_ROOT/cache
sudo yum install zlib-devel bzip2 bzip2-devel readline-devel sqlite sqlite-devel openssl-devel xz xz-devel libffi-devel git wget
wget https://mirrors.huaweicloud.com/python/2.7.2/Python-2.7.2.tar.xz
cd /root/.pyenv/plugins/python-build/share/python-build
vim 2.7.2
pyenv install 2.7.2