在IntelliJ 启动Spark的Master和Work

最新推荐文章于 2024-11-13 08:30:00 发布
最新推荐文章于 2024-11-13 08:30:00 发布
阅读量5.8k 收藏
点赞数
分类专栏： spark 文章标签： 源码 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/q79969786/article/details/45771927
版权

为了阅读Spark阅读源码方便，可以直接在IntelliJ 启动Master和Work，方便debug，

下面介绍方法：

  1. 修改pom.xml
    修改pom.xml中com.google.guava的scope，如下图：
    这里写图片描述
  2. 启动master
    右键Run ‘Master.main()’
  3. 启动work
    启动work需要传入mater URL，如下图
    这里写图片描述

启动后master如下图：
这里写图片描述

常见问题

  1. java.lang.IllegalStateException: Cannot find any assembly build directories.
    用该源代码重新编译Spark后将编译后的jar文件放在spark\assembly\target\scala-2.10\，并将datanucleus-api-jdo-3.2.6.jar，datanucleus-core-3.2.10.jar，datanucleus-rdbms-3.2.9.jar放在spark\lib_managed\jars\
  2. java.io.InvalidClassException: org.apache.spark.rdd.RDD; local class incompatible: stream classdesc serialVersionUID = -3550615713128734032, local class serialVersionUID = -1180408054267465065
    spark\assembly\target\scala-2.10\下的jar文件不是该源码编译的
IDEA+SPARK 本地伪分布式开发日志调测
段智华的博客
05-30 1978
IDEA+SPARK 本地伪分布式开发日志调测： 要在windows本地IDEA环境中伪分布式开发spark程序，观察spark框架运行的日志。 开发代码： object SparkShell { def main(args: Array[String]): Unit = { Logger.getLogger("org").setLevel(Lev...
spark学习-65-源代码：schedulerBackend和taskScheduler的创建(3)-local-cluster
九师兄
07-04 1411
0 本地测试 // 本地模式运行,便于测试 val sparkConf = new SparkConf().setMaster("local-cluster[1, 1, 200]").setAppName("aa") 这样直接运行会报错 Exception in thread "main" org.apache.spark.SparkException: Asked to lau
IDEA本地启动Spark的Master和Worker
攸的博客
01-19 302
在Windows环境IDEA上解读Spark源码的时候，为了查看参数传递，总是连接服务器很麻烦。简单实现从本地启动Spark的Master和Worker，方便源码解读。 1. 添加Maven依赖 在spark-parent的pom.xml中添加guava依赖 <!-- https://mvnrepository.com/artifact/com.google.guava/guav...
IDEA创建Spark程序，并本地运行
bai1cai1的博客
07-19 5775
1. 所需的配置文件 配置的安装包如下图，可在此提取 ，提取码为c7tv。 2. 配置JDK与Scala的环境变量 JDK环境变量的配置过程参考这里 。Scala环境变量的配置过程： 并在path中添加路径：%SCALA_HOME%\bin; (路径之间用分号;隔开)。 3. IDEA创建Scala项目进行测试 4. IDEA创建maven项目进行测试 安装好IntelliJ IDEA后，创建...
在IDEA运行spark程序（搭建Spark开发环境）
热门推荐
wanglingli95的博客
11-01 2万+
在IDEA中运行spark程序
Spark master和worker启动流程
weixin_40670099的博客
08-13 926
​​​​​​​一、master启动UML图 1、在start-master.sh脚本中调用Mater.scala中的main方法 2、在main方法中封装spark参数，并调用startRpcEnvAndEndpoint（）创建RpcEnv 3、在startRpcEnvAndEndpoint中创建RpcEnv（AkkaSystem），创建masterEndPoint（actor），new M...
黑猴子的家：Spark 在 IDEA 中本地调试 WordCount 程序
黑猴子的博客
06-07 580
本地Spark程序调试需要使用local提交模式，即将本机当做运行环境，Master和Worker都为本机，运行时直接加断点调试即可。 1、断点调试 尖叫提示：如果本机操作系统是windows，如果在程序中使用了hadoop相关的东西，比如写入文件到HDFS，则会遇到异常 “Java.io.IOException:Could not loca...
Spark与Hive的完美结合：如何在Spark上部署Hive
humsuen的博客
11-12 3084
主要记录如何安装配置 Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。
Hive性能提升秘籍：从Hive on MR到Hive on Spark的深度实践
u010192213的博客
11-13 743
主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤可参阅之前内容。
hive报错 spark_Hive on Spark安装配置详解（都是坑啊）
weixin_39807541的博客
12-20 911
简介本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。背景Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均...
Spark大数据处理讲课笔记2.4 IDEA开发词频统计项目
ZYF2190003497的博客
04-10 138
新建Maven项目，基于JDK11。安装配置Scala 2.12.15。
五、Spark上运行Scala版本helloworld
I want to know a little more.
08-19 4286
摘要：Spark作为新一代大数据计算引擎，因为内存计算的特性，具有比hadoop更快的计算速度。这里总结下对Spark的认识、虚拟机Spark安装、Spark开发环境搭建及编写第一个scala程序、运行第一个Spark程序。 1.Spark是什么 Spark是一个快速且通用的集群计算平台 2.Spark的特点 1）Spark是快速的    Spark扩充了流行的Mapreduce计算模型...
Spark的Master和Worker集群启动的源码分析
亮仔的专栏
07-11 2619
基于spark1.3.1的源码进行分析 spark master启动源码分析 1、在start-master.sh调用master的main方法，main方法调用 def main(argStrings: Array[String]) {     SignalLogger.register(log)     val conf = new SparkConf     val args =
CDH 升级pyspark带来的问题
只是甲的博客
06-11 6657
文章目录一.问题描述二.解决方案2.1 删除spark2.2 重启整个集群2.3 重新添加spark服务 一.问题描述 最近在自学pyspark，想本地通过pycharm来编辑pyspark脚本，运行的时候，提示没有pyspark模块，于是通过pycharm安装了pyspark(最新版本)。 而且这个安装到了远程服务器上，真的坑 奈何我安装的是CDH 6.3.1版本，然后spark版本是 2.4.0-cdh6.3.1，然后最新版本是3.0.2的 新的pyspak程序，都未记录到 History Serve
【Spark实战系列】spark 各种报错汇总以及解决方案(持续更新中)
JasonLee实时计算
01-30 6130
这篇文章主要记录下spark中遇到的各种问题,以及解决方法(以后会持续的更新) 1.File does not exist. Holder DFSClient_NONMAPREDUCE_-67513653_1 does not have any open files 今天早上发现程序报了一个这个错误,目前还没找到报错的原因,先记录一下吧. 2.org.apache.kafka.clients...
spark运行模式中的一些错误
04-26 5978
错误一 Caused by: ERROR XJ040: Failed to start database 'metastore_db' with class loader org.apache.spark.sql.hive.client.IsolatedClientLoader$$anon$1@19105a87, see the next exception for details. ...
Java多线程 - Master/Worker模式
weixin_42073629的博客
06-26 1239
1.什么是Master/Worker模式? Master-Worker模式是常用的并行模式之一。它的核心思想是，系统由两类进程协作工作：Master进程和Worker进程。Master进程负责接收和分配任务，Worker进程负责处理子任务。当各个Worker进程将子任务处理完成后，将结果返回给Master进程，由Master进程做归纳和汇总，从而得到系统的最终结果，其处理过程如下图所示 M...
Spark Master和Work启动过程
zhaomeng1123的专栏
11-17 1566
参考 Spark core篇一：Spark源码Master Worker启动消息通信
idea spark配置
最新发布
02-14
### 在 IntelliJ IDEA 中进行 Spark 配置 为了在 IntelliJ IDEA 中成功配置并运行 Spark 应用程序，需遵循一系列特定设置来确保项目能够正确识别和利用 Spark 的功能。 #### 创建 Maven 项目 首先创建一个新的 Maven 项目，在 `pom.xml` 文件中加入必要的依赖项以引入 Spark 和其他所需的库。这一步骤至关重要，因为这些依赖定义了应用程序可以使用的类和方法[^1]。 ```xml <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.0.0</version> </dependency> <!-- Add other dependencies as needed, such as spark-sql for DataFrame support --> </dependencies> ``` #### 设置 Spark 运行环境 通过编写 Scala 或 Java 代码初始化 Spark 上下文 (SparkContext)，这是与集群交互的基础对象。对于更高级别的 API 使用，则可通过构建 `SparkSession` 来简化操作。 ```scala import org.apache.spark.sql.SparkSession import org.apache.spark.{SparkConf, SparkContext} val conf = new SparkConf() .setAppName("Simple Application") .setMaster("local[*]") // For local testing; change to your master URL when deploying. // If you need to specify JAR files explicitly during development or deployment, // use setJars method with a list of paths pointing to those JARs. val sc = new SparkContext(conf) val spark = SparkSession.builder() .appName("Spark SQL basic example") .config("spark.some.config.option", "some-value") // Optional configurations can be added here. .getOrCreate() // Your application logic goes here... sc.stop() // Remember to stop the context after finishing work. ``` #### 调试和提交作业到集群 当本地测试完成后准备部署至生产环境中时，应调整 `.setMaster()` 参数指向实际的 Spark 主节点地址，并确认所有必需的资源文件已上传至目标位置以便远程执行。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值