hadoop源码编译打包

本文详述了如何在CentOS 7.5上编译hadoop 3.0.3源码,包括环境配置、依赖安装、源码编译与打包,以及使用自编译的hadoop执行MapReduce任务的过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文基于hadoop3.0.3版本

编译与调试环境
OS: CentOS Linux release 7.5.1804 (Core)(包含桌面,便于使用开发工具)
maven: Apache Maven 3.5.4
jdk: 1.8.0_151
IDE:IntelliJ idea-IU-181.5281.24

源码下载:https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.0.3/hadoop-3.0.3-src.tar.gz

源码编译

1.解压源码包:
tar -zxvf hadoop-3.0.3-src.tar.gz
生成以下maven工程

2.使用安装好的idea打开该maven工程
以下为hadoop项目整体工程结构,第一次打开时需要耐心等待工程自动下载maven依赖,如果觉得依赖下载速度过慢的话可以先关闭该工程,暂时跳过该步骤,后面使用maven命令进行编译打包的时候下载依赖速度更快
在这里插入图片描述
3.打开源码根目录下的BUILDING.txt文件,参照提示进行编译,其他操作系统也可参照该文件中关于对应操作系统的编译指导

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值