【Spark内核源码】解析“spark-shell”（二）

最新推荐文章于 2023-11-27 23:47:23 发布
原创 最新推荐文章于 2023-11-27 23:47:23 发布 · 320 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

接着【初探Spark内核】解析“spark-shell”（一）来看

根据main的执行日志来看，我们直接看一下org.apache.spark.repl.Main.main方法：

main方法中创建了SparkILoop对象，作为参数传递给了doMain方法，并调用了doMain方法。

在doMain方法中进行了jar包的加载和设置，便开始执行SparkILoop的precess方法。

SparkILoop继承了Scala类库中的ILoop，precess方法便是ILoop类中的方法，在precess方法中执行了loadFiles(settings)

在SparkILoop

最低0.47元/天 解锁文章
Spark源码分析之Spark Shell（上）
微信搜：import_bigdata，大数据领域硬核原创作者
03-25 456
终于开始看Spark源码了，先从最常用的spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东，其实里面还是有很多知识点的。另外，从启动脚本入手，是寻找代码入口最简单的方法，很多开源框架，其实都可以通过这种方式来寻找源码入口。 先来介绍一下Spark-shell是什么？ S...
【Spark内核源码】解析“spark-shell”（一）
lazy_moon的博客
09-27 349
目录 脚本分析 远程监控 之前使用spark-shell，编写了一个word count程程序【初探Spark内核】Word Count程序的简单分析 ，spark-shell究竟都为我们做了些什么，下面就好好分析一下。 脚本分析 当我们输入指令“spark-shell”的时候，我们是调用了SPARK_HOME/bin/spark-shell脚本。这个脚本大致的调用过程是这样的： ...
Spark-Shell 详解-源码分析
loki的博客
01-12 590
第一步：安装spark 略。 第二步：下载saprk源码 下载地址：https://github.91chifun.workers.dev//https://github.com/apache/spark/archive/v2.4.0.zip 下载解压到指定目录，并在idea中导入： 注意：idea要配置jdk，并安装scala插件，配置scala支持 第三步：源码解读 项目源码结构： 3.1 启动脚本-源分析 首先查看bin目录下的spark-shell脚本： 图中
spark 2.2 源码分析 Spark-shell 篇
yaoyaostep的专栏
11-17 710
spark 2.2 源码分析 Spark-submit 篇 本文主要剖析了spark的任务提交过程。在用户写完scala脚本后，进行spark-submit的shell脚本的任务提交，其内部的调用原理： 1 任务的提交 /bin/spark-submit \   --class org.apache.spark.examples.Helloworld \   --master spark
源代码：spark-shell解读
专注于后端开发，时常接触大数据 、人工智能等
10-12 674
1.spark-shell启动指定master ./bin/spark-shell --master local[4] --jars code.jar 2.错误：System memory 239075328 must be at least 471859200 [root@biluos spark-2.2.0-bin-hadoop2.7]# bin/spark-shell Sett...
【spark床头书系列】spark-shell 任务提交任务参数选项说明示例源码权威详解
wang2leee的博客
11-27 1492
spark-shell 任务提交任务参数选项说明示例源码详解
spark内核解析和调优指南
m0_50323137的博客
04-12 715
Spark内存管理 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文中阐述的原理基于 Spark 2.X 版本。 在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种 JVM 进程，前者为主控进程，负责创建 Spark 上下文，提交 Spark 作业（Job），并将作业转化为计算任务（Task），在各个 Executor
spark2.0原理源码解析(一) ： spark shell 脚本解析
u012957549的博客
03-16 588
之前对于spark , 主要是使用 没有太过深入的去了解底层原理 和 源码 ，在开发过程 ，发现遇到一些问题无从下手 ，准备投入源码的怀抱了 。 先从spark-shell 开始 相信许多人都 使用过spark-shell 那几天 来看看 spark-shell 我们运行那个脚本到底干了什么。下面给出spark-shell #!/usr/bin/env bash #先检测系统是否属于cygwin,...
Spark2.2内核剖析
坚持自我
08-11 243
目录1、master启动过程2、worker启动过程3、driver启动过程4、任务提交过程5、总结sprak集群的启动和任务提交6、RDD内部详解7、stage划分算法8、task提交算法9、shuffle机制10、spark缓存机制11、spark存储模块
Spark实战（2）_Spark内核架构剖析
分享数据科学家的自我修养
04-26 551
Standalone模式提交Spark应用的机器，Application（自己的Spark程序），spark-submit（shell）提交Application。Driver（启动一个进程），spark-submit使用Standalone模式提交Application的时候，其实会通过反射的方式，（在本机/客户端）创建和构造一个DriverActor进程出来。Driver执行我们的Applic...
Spark2.1.0之剖析spark-shell
beliefer的博客
04-20 4423
        通过在spark-shell中执行word count的过程，让读者了解到可以使用spark-shell提交Spark作业。现在读者应该很想知道spark-shell究竟做了什么呢？脚本分析        在Spark安装目录的bin文件夹下可以找到spark-shell，其中有代码清单1-1所示的一段脚本。代码清单1-1       spark-shell脚本function m...
spark源码学习(二)------------spark-shell启动分析
happyAnger6的专栏
04-23 6292
上一节学习了spark源码的编译方法，这一节我们跟踪一下spark-shell的启动. spark-shell是spark提供一个控制台，通过它我们可以方便的学习spark的API，类似于scala的REPL. spark-shell在/bin目录下,下面简单分析一下spark-shell的启动。 spark-shell--------->spark-submit----------
单手解Spark之spark-shell
AaronLwx的博客
07-02 234
打开spark-shell脚本 上图可知，spark-shell脚本会调用spark-submit脚本，我们接着打开spark-submit脚本 打开脚本 spark-class 脚本 spark-submit在执行 spark-class脚本时，给它增加了参数 SparkSubmit 。 Spark 启动了以 SparkSubmit 为主类的 JVM 进程 。 点击进入i...
黑猴子的家：Spark Shell
黑猴子的博客
06-07 224
spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序 1、启动Spark shell [victor@node1 spark]$ bin/spark-shell \ --master spark://node1:7077 \ --executor-memory 2G \ -...
spark系列之spark-shell详解
liu_xue_xue的专栏
08-02 4204
Spark Shell是一个交互式的命令行，提供了一种学习API的简单方式，以及一个能够进行交互式分析数据的强大工具，他也是一个客户端，可以使用scala编写（scala运行与Java虚拟机可以使用现有的Java库）或使用Python编写。方便学习和测试，用于提交spark应用程序。 spark-shell的本质是在后台调用了spark-submit脚本来启动应用程序的。 启动spark-shell，命令如下： /spark-2.2.0-bin-hadoop2.7/bin/spark-shell .
Spark源码解析(一):Spark执行流程和脚本
Oeljeklaus的博客
06-27 6232
Spark执行流程 Spark带注释源码 对于整个Spark源码分析系列，我将带有注释的Spark源码和分析的文件放在我的GitHub上Spark源码剖析欢迎大家fork和star 过程描述: 1.通过Shell脚本启动Master，Master类继承Actor类，通过ActorySystem创建并启动。 2.通过Shell脚本启动Worker，Worker类继承Actor类，通过A...
Spark学习（一）---Spark-shell使用
BlueSky
11-18 2422
Spark-shell使用 配置好Spark集群，测试Sparkwordcount程序，可以通过基本的Spark-shell来进行交互式的代码提交，比如： val textFile = sc.textFile("words/test.txt") val result = textFile.flatMap(line => line.split("\\s+")).map(word
Spark Shell使用指南：快速掌握交互式大数据处理
其中，Scala 版本的 Spark Shell 是基于 JVM 构建的原生接口，性能更优且与 Spark 内核集成度更高；而 PySpark Shell 则为熟悉 Python 的开发者提供了友好的访问通道，借助于 Py4J 技术桥接 Java 与 Python 环境，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值