Hibench简易教程

本文提供了一份简化的Hibench安装和配置教程,涵盖了从下载Hibench 7.0、Hadoop 2.7.5和Spark 2.3.0到编译Hibench、配置Hadoop和Spark环境以及测试系统的过程。关键步骤包括修改配置文件以设置路径和主机信息,并确保首次启动时正确格式化文件系统。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.准备

Hibench-7.0 https://github.com/Intel-bigdata/HiBench/archive/HiBench-7.0.tar.gz
Hadoop-2.7.5 https://github.com/apache/hadoop/archive/rel/release-2.7.5.tar.gz
spark-2.3.0-bin-hadoop2.7 https://archive.apache.org/dist/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

2.搭建

(1) Hibench编译
mvn -Phadoopbench -Psparkbench -Dspark=2.1 -Dscala=2.11 clean package
(2)修改Hibench/conf下的hadoop.conf
cat hadoop.conf.template > hadoop.conf  //重定向文件
vim hadoop.conf

修改hibench.hadoop.homehadoop-2.7.5路径
修改hibench.hdfs.masterhdfs端口例如:hdfs://localhost:8020

(3)修改Hibench/conf下的spark.conf
cat spark.conf.template > spark.conf
vim spark.conf

修改hibenc

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值