基于Hadoop CDH进行Spark编译

最新推荐文章于 2024-06-12 15:24:38 发布
原创 最新推荐文章于 2024-06-12 15:24:38 发布 · 999 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文档介绍了如何在CDH环境下编译Apache Spark-2.4.0。首先从官方地址下载Spark源码，然后修改make-distribution.sh和pom.xml文件，特别是为CDH添加仓库。编译前需设置Maven内存使用，以防CompileFailed错误。成功编译后，解压并配置环境变量，最后可以本地启动Spark进行测试。

Spark-2.4.0下载地址：

官方地址：https://archive.apache.org/dist/spark/spark-2.4.2/spark-2.4.2.tgz

编译Spark源码的文档(参考官方文档)

http://spark.apache.org/docs/latest/building-spark.html

编译Spark源码的前置要求

软件

Hadoop

scala

maven

JDK

版本

2.6.0-cdh5.7.0

2.11.12

3.6.1

jdk1.8.0_45

编译与配置：

1解压Spark源码：

1

2

3

4

5

6

7

[hadoop@hadoop001 software]$ ll spark-2.4.2.tgz

 

-rw-r--r--. 1 hadoop hadoop 16165557 4月  28 04:41 spark-2.4.2.tgz

 

[hadoop@hadoop001 software]$ tar -zxvf spark-2.4.2.tgz

 

[hadoop@hadoop001 software]$ cd spark-2.4.2

2 修改make-make-distribution.sh中的版本号，避免编译时自己取寻找，此过程比较耗时

make-distribution.sh脚本的Github地址：

https://github.com/apache/spark/blob/master/dev/make-distribution.sh

1

2

3

4

5

6

7

8

9

10

11

12

13
最低0.47元/天 解锁文章
【Spark】指定Hadoop版本进行编译Spark
晚风中的自由
10-27 1537
一、下载spark源码 1、下载源码 官网为：http://spark.apache.org/downloads.html 选择对应的spark发行版本，包类型选源码，点击download spark右侧的tgz即可下载； 由于练习需要，下载的是spark-1.3.0.tgz； 2、安装依赖的环境 spark-1.3.0 依赖的环境有： maven版本：apache-maven...
spark2.3.3-hadoop2.6.0-cdh-5.15.2重新编译
04-27
带编译所需的maven库，spark2.3.3源码基于hadoop2.6.0-cdh-5.15.2进行重新编译
Spark入门实战系列--2.Spark编译与部署（中）--Hadoop编译安装
yyy
09-09 656
实验相关的测试数据和安装包放在百度盘提提供下载，地址为http://pan.baidu.com/s/1pJyyB6j。 原创地址为：http://www.cnblogs.com/shishanyuan 1、编译Hadooop 1.1 搭建环境 1.1.1 安装并设置maven 1. 下载maven安装包，建议安装3.0以上版本，本次安装选择的是maven3.0.5的二进制包，下载
Linux平台spark-cdh源码编译
fanxl10的专栏
02-28 486
下载spark源码，这里版本用的是2.1.0，下载后解压即可 官方下载地址 安装并配置maven 2.1 设置MAVEN_HOME export MAVEN_HOME=maven的安装目录 export PATH=$PATH:$MAVEN_HOME/bin 2.2 设置阿里云镜像地址，这样maven编译打包速度会快很多，在maven的conf文件夹下的setting.xml文件中添加 &lt...
Spark编译与部署（中）--Hadoop编译安装
07-11
Spark编译与部署（中）--Hadoop编译安装
CDH的hadoop与Spark套件组安装
weixin_33849942的博客
09-15 338
1.解压JDBC并复制到cm目录中 tar -zxvf mysql-connector-java-5.1.43.tar.gz cp /opt/mysql-connector-java-5.1.43/mysql-connector-java-5.1.43-bin.jar /opt/cm-5.10.0/share/cmf/lib/ ...
Spark编译hadoop-2.6.0-cdh2.7.0
゛Never give up~
05-05 287
前提 在这里我们编译的是Spark2.2.0,Hadoop版本为hadoop-2.6.0-cdh5.7.0，Scala版本为2.11.8 更多关于编译Spark2.2.0参见Spark编译官方文档 环境要求 The Maven-based build is the build of reference for Apache Spark. Building Spark using Maven re...
spark1.0编译并解决与cdh5.0兼容问题
weixin_34342905的博客
06-20 125
最近想将spark升级到1.0，看了看官网的介绍，1.0的变动还是蛮大的，包括提交的方式，加入对kafka,flume等的支持。于是官网下载1.0的source自己用maven编译。首先需要升级下scala,0.9对应的是scala-2.9.x,1.0需要升级到scala-2.10.x。然后按照spark官网的提示首先设置maven的java虚拟机参数expo...
精选资源
适配CDH6.3.2的Spark3.2.2
08-16
在使用"spark-3.2.2-bin-3.0.0-cdh6.3.2"这个压缩包时，用户可以直接在CDH6.3.2环境中运行，无需再进行编译，确保了与CDH组件的兼容性和稳定性。需要注意的是，安装和配置Spark时，要遵循CDH的官方文档，以确保所有...
精选资源
spark-3.2.2-bin-3.0.0-cdh6.3.2
10-20
内容概要：由于cdh6.3.2的spark版本为2.4.0，并且spark-sql被阉割，现基于cdh6.3.2，scala2.12.0，java1.8，maven3.6.3，,对spark-3.2.2源码进行编译 应用：该资源可用于cdh6.3.2集群配置spark客户端，用于spark-sql
Hadoop+Hbase+Spark+Hive搭建
08-12
全套的Hadoop+Hbase+Spark+Hive搭建指导手册
spark2-release-HDP-2.6.4.0-91-tag在CentOS7上的源码编译
TT-Learning
06-19 902
文章目录Spark2编译准备下载：maven环境搭建Scala环境搭建Spark2编译设置 make-distribution.sh执行编译命令 Spark2编译准备 下载： https://github.com/hortonworks/spark2-release/releases/tag/HDP-2.6.4.0-91-tag https://github.com/hortonworks/sp...
Spark源码编译教程
GulfMoon
08-16 3135
一、背景 从Spark官网https://spark.apache.org/ 下载的预编译版本的Spark，受到诸多限制： 1. 比如我们生产环境使用的Hadoop是CDH版本，那么从官网下载的预编译版本就不能使用； 2. 为了兼容Spark新特性，生产环境只升级了HDFS组件，那么预编译版本也不能使用； 因此，为了更好的兼容生产环境中大数据生态组件，我们必须学会如何编译Spark源码。 ...
cdh5 下面编译spark1.1踩过的坑
01-04 190
MVN 需要设置内存使用 并且设置java环境 java版本 java版本必须使用1.6的编译.否则会有问题 protobuf的版本 修改pom.xml文件 2.4.1 to 2.5.0
自行编译spark适配CDH 6.3.2
ChengYanan的博客
09-18 3558
我们用的是CDH 6.3.2,内置的spark版本是2.4.0，有两个问题： cdh6之后就取消了spark-sql客户端 hudi 0.9.0 仅支持 spark 2.4.4之后的版本 所以就想自己安装个spark使用。 1.下载spark 3.1.2 版本源码 https://spark.apache.org/downloads.html 2.修改pom文件 增加cloudera maven仓库 <repositories> <repository> <
java连接cdh集群_Alluxio集群部署整合CDH（Hive/Spark）
weixin_35805266的博客
02-25 510
Linux环境：centos7.4CDH：5.16.1Java：1.8.0_131Alluxio：2.3.0编译修改配置文件cp conf/alluxio-site.properties.template conf/alluxio-site.propertiesvim alluxio-site.properties![](https://img2020.cnblogs.com/blog/19173...
java cdh hbase_在CDH集群中使用spark插入Hbase
weixin_39598796的博客
02-16 384
需求百亿级数据实时查询，数据有两列：电话MD5(rowkey CELLPHONE_MD5)、电话( CELLPHONE)创建Hbase表可以通过两种方式连接Hbase：phoenix 或者hbase shellphoenix可以提供类sql的方式进行hbase的操作，容易接受一些hbase shell 通过hbase相关命令操作，相对复杂phoenix提供相对格式化的输出，比较美观(例如执行查看所...
Spark源码的编译过程详细解读(各版本)（博主推荐）
奋斗吧_-小青年
05-12 3249
说在前面的话  　　重新试多几次。编译过程中会出现下载某个包的时间太久，这是由于连接网站的过程中会出现假死，按ctrl+c，重新运行编译命令。  如果出现缺少了某个文件的情况，则要先清理maven(使用命令 mvn clean) 再重新编译。  Spark源码编译的3大方式　 　　1、Maven编译 　　2、SBT编译  （暂时没） 　　3、打包编译make-dis
CDH详解（史上最全）
热门推荐
weixin_45424111的博客
06-12 1万+
CDH详解，从小白到精通
spark安装文档
最新发布
06-27
### Apache Spark 安装与配置指南 Apache Spark 的安装过程相对简单，但需要确保前提条件和环境配置正确。以下是详细的安装步骤： 1. **下载 Spark** - 访问 [Apache Spark 官方网站](https://spark.apache.org/downloads.html)，选择适合的版本进行下载。 - 常见的选择包括预编译的二进制包（适用于大多数用户）或源码包（适用于需要自定义构建的高级用户）。 2. **解压文件** - 下载完成后，将压缩包解压到目标目录中。例如，在 Linux 或 macOS 上可以使用以下命令： ```bash tar -xzf spark-3.5.0-bin-hadoop3.tgz -C /usr/local/ ``` 3. **配置环境变量** - 设置 `SPARK_HOME` 环境变量指向 Spark 的安装目录，并将 `bin` 目录添加到 `PATH` 中。在 Linux 或 macOS 上，可以在 `.bashrc` 或 `.zshrc` 文件中添加以下内容： ```bash export SPARK_HOME=/usr/local/spark-3.5.0-bin-hadoop3 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin ``` - 应用更改： ```bash source ~/.bashrc # 或 source ~/.zshrc ``` 4. **修改配置文件** - 进入 Spark 的 `conf` 目录并复制模板文件生成实际使用的配置文件： ```bash cd /usr/local/spark/conf cp spark-env.sh.template spark-env.sh ``` - 编辑 `spark-env.sh` 文件，设置 Java 路径和其他必要的参数： ```bash export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64 ``` 5. **验证安装** - 启动 Spark Shell 来验证安装是否成功： ```bash ./bin/spark-shell ``` - 如果成功启动 Scala shell，则说明 Spark 已经正确安装并运行。 6. **配置集群（可选）** - 如果需要在集群环境中运行 Spark，可以选择以下几种集群管理器之一进行配置： - **Standalone**：Spark 自带的简单集群管理器。 - **YARN**：适用于 Hadoop 生态系统的资源调度器。 - **Mesos**：通用的分布式系统内核。 - 配置方式取决于具体需求，通常涉及编辑 `spark-defaults.conf` 和其他相关配置文件。 --- ### 示例代码：运行简单的 Spark 应用程序 以下是一个简单的 Spark 应用程序示例，用于计算文本文件中的单词数量： ```python from pyspark.sql import SparkSession # 创建 SparkSession spark = SparkSession.builder.appName("WordCount").getOrCreate() # 读取文本文件 text_file = spark.read.text("input.txt") # 拆分单词并计数 word_counts = text_file.rdd.flatMap(lambda line: line.value.split()) \ .map(lambda word: (word, 1)) \ .reduceByKey(lambda a, b: a + b) # 显示结果 word_counts.collect() ``` --- ###
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值