本文档详细介绍了如何在Hadoop集群中安装和配置Hibench 7.0，包括修改配置文件如hadoop.conf、hibench.conf、frameworks.lst和benchmarks.lst，以及针对dfsioe测试场景的特殊设置。测试过程包括全场景和单个场景的执行，并指导如何获取测试报告。请注意，dfsioe场景不支持Hadoop集成的snappy算法，所有日志存储在HiBench的report目录下。
已经编译好的软件包，有snappy算法和无snappy算法的两个包 ，版本号： 7.0
https://pan.baidu.com/s/1QGms8zj1GYUYmH1YSK7R3w
提取码：3hb2
不想下载编译好的软件包的小伙伴，可以到 https://download.youkuaiyun.com/download/registerluo/10834271 下载dfsioe支持hadoop集成snappy的修改好的原码包。
Hibench简介
Hibench是一个大数据 benchmark 套件，用来测试各种大数据框架的速度，吞吐量，系统资源利用率。它支持的框架有：hadoopbench、sparkbench、stormbench、flinkbench、gearpumpbench。
一、安装环境：安装在 hadoop 集群的一台linux服务器即可。 hibench的版本7.0 。
1 修改HiBench-master/conf/hadoop.conf配置项
hibench.hadoop.home /usr/local/hadoop #hadoop的home路径
hibench.hdfs.master hdfs://mycluster:8020 #单机或集群的 hdfs uri
最低0.47元/天 解锁文章
扫一扫
5581
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
