大数据之-Hadoop源码编译_源码编译具体流程_以及编译步骤---大数据之hadoop工作笔记0046

最新推荐文章于 2023-03-30 09:47:41 发布
最新推荐文章于 2023-03-30 09:47:41 发布
阅读量372 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 集群&算法&量子计算
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/115371767
本文详细介绍了如何在CentOS系统中编译Hadoop源码，从创建干净的虚拟机开始，包括克隆、网络配置、安装必备软件如jdk、maven、ant等，再到protobuf、openssl等的安装与配置，最后通过maven打包Hadoop源码并解决编译过程中的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

然后我们开始来编译hadoop的源码,首先我们

先做一个干净的虚拟机,我们克隆准备好的CentOS-0710-100就可以了

选择下一步

 

选择创建完整克隆,点击下一步

然后选个位置,注意

内存至少分2G,4G是比较好的.

了解本专栏 订阅专栏 解锁全文 超级会员免费看
《大数据： Hadoop 源码编译》
yexiang优快云的专栏
08-31 185
一、准备工作 1. 连接外网。Linux虚拟机ping www.baidu.com是畅通的 2. 注意：采用root角色编译，减少文件夹权限出现问题 3.jar包准备(hadoop源码、JDK8、maven、ant 、protobuf) hadoop-2.7.2-src.tar.gz jdk-8u144-linux-x64.tar.gz apache-ant-1.9.9-bin.tar.gz（build工具，打包用的） apache-maven-3.0.5-bin.tar.gz prot..
大数据之-Hadoop源码编译_编译hadoop源码前_需要准备的软件_以及编译步骤---大数据之hadoop工作笔记0045
添柴程序猿的专栏
04-01 324
编译源码,首先要准备一台Centos可以联网的虚拟机,一定要可以连接外网 然后准备上面的这些软件. 可以看到软件都在上面这个目录下. 首先是安装jdk,然后配置JAVA_HOME 然后再去安装maven 要注意安装maven的时候,有必要改一下镜像源地址,改成aliyun的会速度快很多. 后面下载依赖的时候,不容易失败. 然后再去配置maven的环境变量,配置以后记得source /etc/profile 让他生效 然后,我们再去配置ant,ant是用来打包的..
大数据技术之Hadoop编译源码
m0_58371965的博客
07-01 126
1 前期准备工作 1）CentOS联网 配置CentOS能连接外网。Linux虚拟机pingwww.baidu.com是畅通的 注意：采用root角色编译，减少文件夹权限出现问题 2）jar包准备(hadoop源码、JDK8、maven、ant 、protobuf) （1）hadoop-2.7.2-src.tar.gz （2）jdk-8u144-linux-x64.tar.gz （3）apache-ant-1.9.9-bin.tar.gz （4）apache-maven-3.0.5-bi..
使用Apache Bigtop编译打包开源大数据组件——以zk、hadoop、spark、hive为例
runningandrunning的博客
07-04 3912
Apache Bigtop是一个编译、打包、部署开源大数据组件的工具，Apache Bigtop打包大数据组件的过程与方法写在这里
安装BigTop编译的Hadoop3.1.1版本过程记录
zwahut的专栏
05-24 1910
本文记录安装编译后的rpm包的过程，主要是在不同主机上分配好需要安装的服务，使用yum命令安装，然后修改对应的配置文件，最后启动服务即可。 1、前期准备 主要包括主机的设置方面，配置主机名、IP和主机名映射、关闭防火墙等 #关闭防火墙 hostnamectl set-hostname hdp1 #修改主机名 172.16.25.139 hdp1 172.16.25.140 hdp2 17...
Hadoop的编译打包
Above the cloud
07-27 804
当编译Linux内核及一些软件的源程序时，经常要用这个命令。Make命令其实就 是一个项目管理工具，而Ant所实现功能与此类似。像make，gnumake和nmake这些编译工具都有 一定的缺陷，但是Ant却克服了这些工具的缺陷。Maven是基于项目对象模型(POM)，可以通过一小段描述信息来管理项目的构建，报告和文档的软件项目管理工具。Hadoop需要 maven和ant工具进行编译管理 1：安装jdk、gcc、gcc-c++ 、make、cmake、openssl-devel、ncurses-devel
大数据之-Hadoop之HDFS_HDFS_基于JAVA的开发_客户端环境准备---大数据之hadoop工作笔记0054
添柴程序猿的专栏
04-04 343
然后我们来用java,做一个客户端,让文件存到hdfs上去 可以看到首先,我们要准备好,01,在win10 下编译过的hadoopjar包,上面有了 这个是根据自己的操作系统环境的,我这里用的是win7. 可以看到上面也有个win7下面的hadoop的jar包,我们就用这个包来做。 这里我准备了这两个操作系统环境的jar包。这实际上要根据自己的操作系统来 没有说怎么样在windows的操作系统下去编译hadoop的jar包。需要的话自己在网上查一下吧。 看我们用的都是下面两个...
大数据之-Hadoop3.x_MapReduce_官方WordCount源码和序列化类型---大数据之hadoop3.x工作笔记0085
添柴程序猿的专栏
07-04 316
这里的这个MrAppMaster跟我们,之前讲yarn的时候的那个ApplicationMaster的一个意思, 这个是个MrAppMster是个子类对吧. 这个我们可以理解为一个掌控全局的老大对吧. 然后这里的mr的程序一个个的子任务,我们可以称之为一个任务,一个mr,或者一个job都可以. 这里要注意,这里的maptask和reducetask,以后是查不到这两个名字的,查到的是yarnchild这个名字. 然后我们一起去看看WordCount...
纯手动搭建大数据集群架构_记录016_微服务架构选型_RuoYi-Cloud-Plus-master_Job如何使用_Es如何使用_Kafka如何使用---大数据之Hadoop3.x工作笔记0177
添柴程序猿的专栏
03-30 408
RuoYi-Cloud-Plus-master 这个是在若依基础上做的增强,里面自带了很多功能,具体就不多说了,来看看怎么下载,部署,跑起来,并且,测试一下,kafka功能,es功能,还有看一下如何,把大数据的hbase集成进去.可以看到右边首先选择,RouYi-Cloud-Plus这个项目,然后选择test,这里然后,点击右上角的,闪电符号,意思是编译的时候,跳过tests。这里选型也是弄了很久,用的微服务架构,刚开始自己捣鼓半天....启动ruoyi-demo这个项目,然后,找到对应的他的配置里的,
通过Bigtop编译Hadoop组件的rpm包
weixin_34399060的博客
07-01 1169
我安装所使用的系统是CentOS6，也可以是red5、6都可以。Bigtop官方网上有Ubuntu系统安装的具体过程。1.安装系统依赖1.1系统更新并安装新的包Building Bigtop requires the following tools: ·Java JDK 1.6·Apache Ant（可以通过yum安装）·...
BigTop3.2.0 大数据组件编译--组件编译
m0_48319997的博客
11-29 5753
接上篇环境准备，环境准备好以后就可以开始bigtop大数据组件编译了，建议使用科学上网方式，降低网络连接报错，主要网络报错出现在nodejs npm yarn bower等前端资源的下载上。搞定网络问题后，按本文的方式可以完成大数据相关组件的编译，编译后生成的rpm包在output目录中，包含源码rpm和二进制rpm。
替代ambari方案：使用apache bigtop部署bigtop hadoop stack
runningandrunning的博客
02-02 7536
替代ambari：下一代大数据stack部署方案！
Hadoop编译完整过程
Mowen_Yi的博客
07-07 1147
前言在编译Hadoop的过程中，我感受到了用老版本的软件会造成很多不必要的问题，用最新的稳定版本是最好的选择，这样做的原因是大部分的软件都是向下兼容的，但是基本不会有向上兼容的情况出现，比如jdk1.8编译的程序不一定能在jdk1.7的环境下执行，但是jdk1.7编译的程序却基本都能在jdk1.8的环境下执行，这就是选择最新版本的软件所带来的好处。（当然也有例外，例如Python2.x和Pytho...
安装BigTop编译的Hive
zwahut的专栏
05-24 547
1、安装Hive 在hdp1 yum install hive #会安装以下包 Downloading packages: (1/3): hadoop-client-3.1.1-1.el7.x86_64.rpm (2/3): hive-...
【Hadoop】在Idea环境中编译Hadoop 2.7.6源码（Linux）
Big data enthusiast
05-30 1418
本次内容，我们来演示如何在Linux Idea环境中编译Hadoop 2.7.6 源码安装mavenwget http://mirror.bit.edu.cn/apach...
如何使用bigtop编译大数据组件？
runningandrunning的博客
06-12 1718
如何使用bigtop编译大数据组件
Hadoop源码编译过程
九天的博客
05-21 2501
前言 由于工作的需要，需要对hadoop源码进行修改，所以需要先对源码进行编译。此处主要在两类环境下编译： linux7.0 mac系统 hadoop源码编译 linux环境 环境说明： 1、Linux系统为centos7.0 3、Hadoop为hadoop-2.8.4-src.tar.gz 4、JDK为1.8.0_201 5、Maven为3.6.1 6、cmake 7、protobuf...
Hadoop源码编译及常见报错【持续更新】
weixin_43824019的博客
04-29 1966
Hadoop源码编译常见报错【持续更新，若有其他解决问题，也可留言，会持续修改】 以下列配置为例：只针对于linux 安装版本：hadoop3.2.2 虚拟机：CentOS-8 仔细阅读源码安装说明-BUILDING.txt（务必安装完全），各个版本的hadoop源码文档略有不同，大致思路是一致的，请根据自己的源码文档进行安装!!! 一、requirement Requirements: * Unix System * JDK 1.8 * Maven 3.3 or later * ProtocolBu
Bigtop介绍
zwahut的专栏
06-11 5346
Bigtop 是一个工程的系统开发包，对Apache Hadoop生态系统的测试。 Bigtop的主要目标就是构建一个Apache Hadoop生态系统的包和交互式测试的社区。这个包括对各类不同级别工程进行测试(包，平台，运行时间，升级等...)，它由社区以关注系统作为一个整体开发而来。 克隆源代码，查看相关组件 git clone https://github.com/apa...
Hadoop环境搭建与Map-Reduce程序开发
"Hadoop学习笔记记录了在RedHat6系统上使用Hadoop-0.20.2版本和Java1.6环境搭建开发环境的过程，包括配置环境变量、安装Hadoop以及通过Eclipse运行Map-Reduce程序的步骤。" 在学习Hadoop的过程中，首要任务是建立一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值