hadoop Spark源码编译所需要的环境

独行夏

于 2017-03-23 16:56:39 发布

阅读量652

点赞数

CC 4.0 BY-SA版权

分类专栏： Bigdata message Hadoop 文章标签： hadoop spark 源码 git

本文链接：https://blog.youkuaiyun.com/u013368491/article/details/65445674

3 篇文章

订阅专栏

2 篇文章

订阅专栏

本文详细介绍了Hadoop和Spark源码编译的全过程。对于Hadoop，包括了从安装必要的编译工具到配置Snappy压缩的每一个步骤；而对于Spark，则涉及版本选择、依赖软件安装及最终的源码编译。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.检查并安装gcc*
2.安装Maven
3.安装ProtocolBuffer
4.安装Cmake
5.安装Zlib
6.安装Openssl
7.安装Snappy
8.编译Hadoop
9.本地库检测
10.Hadoop配置Snappy压缩

1.Spark版本选择
2.在线安装Git(root)用户下
3.创建一个目录克隆Spark源代码
4.切换Spark分支
5.安装JDK
6.安装Maven
7.编译Spark