spark源码编译，本地调试

最新推荐文章于 2024-09-30 18:42:15 发布

转载最新推荐文章于 2024-09-30 18:42:15 发布 · 133 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/cenglinjinran/p/7704963.html

文章标签：

#大数据 #开发工具

本文介绍如何下载并编译Spark源码，通过IDEA导入项目并调整配置，最终运行示例程序。主要内容包括：下载源码、使用maven进行编译、IDEA导入项目、修改pom文件及配置SparkSession。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、下载源码

2、进入源码根据README.md编译源码，注意使用的是源码目录下的maven编译

3、用idea导入顶层pom文件

4、修改顶层pom文件和example下的pom文件，将scope的值全部从provided替换成compile

5、运行任意example，由于是本地运行，需要添加

.master("local[4]")来配置SparkSession。

转载于:https://www.cnblogs.com/cenglinjinran/p/7704963.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30849403

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Spark学习:Win10中编译Spark源码

nzbing的博客

05-08

1311

编译Spark源码一、环境准备二、编译三、IDE导入执行SparkPi.scala 一、环境准备 1、JDK1.8 2、scala 2.12.15 3、maven 3.8.5 3、Spark3.2.1 spark官网下载最新的sourcecode 二、编译 1、打开源码父pom.xml修改scala/maven/java对应版本 2、在cmd/powershell移动到源码目录中父pom.xml所在目录 mvn -DskipTests clean package //使用mvn跳过单元测试编译

Idea 编译并运行 Spark 3.1.1 源码

我吃柠檬的博客

11-16

1364

Idea 编译并运行 Spark 3.1.1 源码

参与评论您还未登录，请先登录后发表或查看评论

Spark源码调试

qq_28044241的博客

04-09

983

在学习Spark源码或者开发过程中，往往需要远程调试Spark。下面将介绍如何在IDEA下对Spark源码进行远程调试。调试前准备工作下载需要调试的Spark对应的版本源码，并用make-distribution.sh编译方式对Spark源码进行编译（由于可能涉及到源码的修改问题，为便于修改后源码的编译和调试，选择该种方式进行编译，并利用编译生成的.tgz包安装Standalone模式...

spark源码本地调试

weixin_30701521的博客

12-02

251

1、前提条件： 1）安装jdk 版本： 2）安装scala 版本： 3）安装sbt 版本： 4）安装maven 5）安装git 版本： 6）安装idea，并配置好sbt、git、maven 2、从github上下载源码sp...

搭建Spark源码阅读环境——Spark源码编译及本地调试

merrily01的博客

10-31

445

搭建Spark源码阅读环境——Spark源码编译及本地调试

Spark源码编译与导入IDEA调试

qq_21355765的博客

08-16

1407

最近闲来，下载了spark源码编译调试一下，看看最新的东西。。。一、下载源码地址：http://spark.apache.org/downloads.html 选择源码包下载 https://archive.apache.org/dist/spark/spark-2.3.1/spark-2.3.1.tgz 二、环境准备 1、一个Linux系统环境 2、在Linux系统上安装J...

Spark源码编译与本地调试环境搭建

Answer1331的博客

07-22

2201

Spark的1.X和2.X版本源码编译与本地阅读调试环境搭建。前置工作： - JDK 安装和环境变量的配置 - Scala 安装和环境变量配置 - Maven 安装和环境变量配置 - Git 客户端安装和 SSH 配置源码编译完成，进行简单配置，我们就可以开始阅读和调试源码了。首先找到 examples 模块中的JavaWordCount.java。1. 根据源码可以看出，这个例子接收一个外部参数 args[0]，即需要统计的文件名。

Spark源码编译

12-15

### Spark源码编译知识点详解 #### 一、Spark源码编译背景及意义在IT行业中，尤其是大数据处理领域，Apache Spark凭借其强大的数据处理能力成为业界的首选框架之一。进行Spark源码编译不仅可以深入了解Spark的...

Spark源码编译步骤详解

"Spark源码编译涉及多个步骤，包括选择合适的Spark版本、下载源代码、安装必要的依赖以及进行编译。对于Apache、CDH和HDP的不同版本，有对应的下载渠道。本文主要关注Apache Spark的源码编译，使用Git克隆源代码，...

【Spark 实战】基于spark3.4.2+iceberg1.6.1搭建本地调试环境

最新发布

有文档被优快云自动升级成了VIP免费，需要调整的可以私信

09-30

1476

iceberg+spark搭建阅读本地调试环境

spark远程调试debug及编译spark源码

qq_16563637的博客

09-22

984

先将下面代码打包第一种方式先backage然后打断点,然后Debug执行main方法在idea中添加参数 ①点击Run下的Edit Configurations ②配置Configuration页中的Program arguments选项，就可以在idea中传入参数，参数之间用空格隔开执行代码如下: package cn.itcast.spark.day1 import org.apac...

CentOS 7下编译Spark源码的坑及解决方案

My鱼缸

08-01

442

Spark源码编译断断续续地搞了三天，期间因为虚拟机存储空间、网络等各种问题卡了很久，但幸好最后没有放弃。这篇博文主要记录一些采用Maven将Spark2.4.3编译为支持Hadoop2.6.0-CDH5.13.0过程中碰到的坑和编译小结。目录一、阅读官网二、开始编译三、手动释放内存四、小结 <=太长不看版一、阅读官网官网永远是最权威的。（参见...

用Eclipse构建Spark源代码调试阅读环境

zhongwen7710的专栏

01-04

7593

实验环境准备： l JDK： Java 语言的软件开发工具包(SDK) 参考网址： http://www.oracle.com/technetwork/java/javase/downloads/index.html l SaclaIDE：一个基于Eclipse开发的Scala的集成开发软件。（可直接用）参考网址：http://scala-ide.org/ l Scala：Spa

spark本地工程的三种打包方案及一点经验总结

千淘万漉

12-19

4036

在本地的spark写成并自测通过后，需要打成jar包并提交到集群，下面是几种打包方案第一种：通过idea的build artifacts 1.先把meta-inf这个文件夹删掉，如果是第一次build，这个文件夹自然是不存在的 2.到build中点击build artifacts, 如果这个按钮是灰的，到project structure中edit，生成的jar包在out下点击bu...

spark 本地调试运行

challengertgj的专栏

08-10

6520

spark本地调试

spark本地调试（idea）

qq_24095055的博客

10-23

3319

spark批处理程序通常是跑在类似yarn等集群环境中的，可是在进行开发的时候，不可避免的需要进行本地开发调试，记录下idea下调试本地spark程序方法。 demo代码： /** * @description: 读取本地json文件，字符串解析出id并输出 */ object CountPictureByDayTest { def main(args: Array[String]): Unit = { @transient val spark = SparkS

spark源码开发调试(idea环境)

Just a Benginner

07-15

356

源码项目调试在源代码项目对源码修改后用idea直接进行调试工作 clone源码到本地并编译 git clone git@github.com:apache/spark.git ./build/mvn -DskipTests clean package idea导入工程 ...

spark源码编译，运行example遇到：NoClassDefFoundError: org/spark_project/guava/cache/CacheLoader...

weixin_34270865的博客

07-12

2359

基本环境： win10+idea Scala2.11.8 maven3.5.3 spark2.1.0 问题：在window10下编译spark2.1.0源码，在idea下运行example，遇到问题 NoClassDefFoundError: org/spark_project/guava/cache/CacheLoader 解决办法：到maven官网下载，spark-...