Spark02: Spark运行任务三种方式

原创 已于 2023-02-04 20:39:06 修改 · 940 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据 #hadoop

于 2023-01-02 19:35:50 首次发布
文章介绍了在开发过程中执行Spark程序的三种方式：1)直接在IDEA中便于本地调试；2)使用spark-submit提交到集群执行，适用于实际工作；3)利用spark-shell在集群环境中调试，尤其适合数据库连接等无法本地调试的情况。spark-shell提供了Scala和Python的交互环境，便于学习和测试SparkAPI，且能自动创建SparkContext。同时，提到了不同模式下启动spark-shell的命令，包括local、独立集群和YARN模式。

1. 直接在IDEA中执行，方便在本地环境调试代码

2. 使用spark-submit提交到集群执行【实际工作中使用】

3. 使用spark-shell，方便在集群环境调试代码

比如：需要连接数据库，无法在本地调试的情况。

spark-shell 实现了用户可以逐行输入代码，进行操作的功能。  即可以不像Java一样，编写完所有代码，然后编译才能运行。spark-shell 支持 Scala交互环境 和 python交互环境，在学习测试中可以使用spark-shell 进行API学习。

spark-shell会自动创建sparkContext

  • spark-shell的local模式
bin/spark-shell
  • spark-shell的独立集群模式
 bin/spark-shell --master spark://bigdata01:7077

 

 注意：需要先启动spark standalone集群

  • spark-shell的YARN模式
bin/spark-shell --master yarn --deploy-mode client

 会启动一个spark任务

Spark08: Spark Job的三种提交模式
anglemanyi的博客
02-01 1170
这种方式主要用于测试，查看日志方便一些，部分日志会直接打印到控制台上面，因为driver进程运行在本地客户端，就是提交Spark任务的那个客户端机器，driver负责调度job，会与yarn集群产生大量的通信，一般情况下Spark客户端机器和Hadoop集群的机器是无法内网通信，只能通过外网，这样在大量通信的情况下会影响通信效率，并且当我们执行一些action操作的时候数据也会返回给driver端，driver端机器的配置一般都不高，可能会导致内存溢出等问题。基于Spark自己的standalone集群。
Spark整理：spark 任务调度
weixin_38602383的博客
12-18 2976
在生产环境下，Spark 集群的部署方式一般为 YARN-Cluster 模式，之后的内核分析内容 中我们默认集群的部署方式为 YARN-Cluster 模式。 Driver 线程主 要 是 初 始 化 SparkContext 对 象 ， 准 备 运 行 所 需 的 上 下 文 ， 然 后 一 方 面 保 持 与ApplicationMaster 的 RPC 连接，通过 ApplicationMaster 申请资源，另一方面根据用户业务逻辑开始调度任务，将任务下发到已有的空闲 Executor 上。当
spark 任务运行原理
djph26741的博客
11-08 219
调优概述 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各...
spark提交任务的几种方式
fengge18306的博客
05-15 2236
1、Standalone模式两种提交任务方式 1.1、Standalone-client提交任务方式 （1）提交命令： bin/spark-submit \ --master spark://node1:7077 \ --class org.apache.spark.examples.SparkPi \ examples/jars/spark-examples_2.11-2.3.3.jar \ 1000 或者 bin/spark-submit \ --master spark://
关于spark任务提交的几种方式
流的博客
04-08 7919
1.Spark当前支持三种集群管理方式 Standalone—Spark自带的一种集群管理方式，易于构建集群。 Apache Mesos—通用的集群管理，可以在其上运行Hadoop MapReduce和一些服务应用。 Hadoop YARN—Hadoop2中的资源管理器。 Tip1: 在集群不是特别大，并且没有mapReduce和Spark同时运行的需求的情况下，用Standalone模式效...
Spark实验：Standalone模式安装部署（带答案）1
08-03
3. Spark环境变量：如SPARK_HOME、SPARK_MASTER_HOST、SPARK_MASTER_PORT等，它们定义了Spark的运行环境和配置。 4. Spark配置文件：如`spark-env.sh`、`slaves`，用于指定Spark集群的运行参数和从节点列表。 5. ...
Spark实验：On Yarn模式安装部署（带答案）1
08-03
Spark on Yarn是一种将Spark应用程序部署在Hadoop YARN资源管理器上的方法，它允许Spark充分利用YARN的资源管理和调度功能。在这个实验中，我们将详细探讨如何在Yarn模式下安装和部署Spark集群。 首先，我们需要...
Spark三种属性配置方式详解
09-30
本文将详细解释Spark的三种属性配置方式。 1. Spark properties Spark properties是控制应用程序核心行为的主要配置项，可以通过`SparkConf`对象或Java系统属性来设置。例如，你可以创建一个`SparkConf`实例，然后...
sparkR:从本地计算机轻松运行sparkR的脚本
05-19
**SparkR：从本地计算机轻松运行SparkR的脚本** SparkR是Apache Spark的一个轻量级R语言接口，它允许用户在大规模数据集上执行R语言的计算。SparkR提供了分布式数组DataFrame对象以及一个用于并行操作的API，极大地...
spark提交任务的三种的方法
helloxiaozhe的博客
04-25 9876
spark提交任务的三种的方法 在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有三种： 1、使用spark 自带的spark-submit工具提交任务 通过命令行的方式提交Job,使用spark 自带的spark-submit工具提交，官网和大多数参考资料都是已这种方式提交的，提交命令示例如下： ./spark-submit --class com.learn.spark.SimpleApp --master yarn --deploy-mode client --driver-
Spark作业提交
jpfx6008的博客
08-11 1337
角色作用Master管理集群和节点，不参与计算。Driver一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的入口点。负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。Woker主要功能：管理当前节点内存，CPU的使用状况，
spark提交任务流程
m0_37967990的博客
04-28 2453
spark提交代码的两种方式：Standalone、Yarn。
Spark任务提交底层原理
djph26741的博客
11-07 348
Driver的任务提交过程 1、Driver程序的代码运行到action操作，触发了SparkContext的runJob方法。2、SparkContext调用DAGScheduler的runJob函数。3、DAGScheduler把Job划分stage，然后把stage转化为相应的Tasks，把Tasks交给TaskScheduler。4、通过TaskScheduler把Task...
spark执行命令
weixin_44099288的博客
10-03 441
本地模式： ./run-example SparkPi 10 —master local[2] 集群模式 ./spark-submit —class org.apache.spark.examples.SparkPi —master spark://master:7077 ../example/jars/spark-example-2.4.jar 集群spark on yarn 集群 ./sp...
大数据Spark（六十一）：Spark基于Standalone提交任务流程
最新发布
Lansonli（蓝深李）的博客
06-04 1917
在Standalone-Client模式中，Driver进程在提交Application的客户端节点上启动，客户端可以查看任务的执行情况和结果。原因在于，当客户端提交大量Application时，所有Driver都在客户端启动，Driver与集群之间存在大量通信，可能导致客户端网络流量激增。：在Standalone-Cluster模式中，Driver进程在集群的某个Worker节点上启动，客户端无法直接查看任务的执行结果，需要通过集群的Web UI查看日志获取结果。
Spark集群的运行流程
weixin_30642561的博客
02-11 1508
一、Spark on Standalone 1.spark集群启动后，Worker向Master注册信息 2.spark-submit命令提交程序后，driver和application也会向Master注册信息 3.创建SparkContext对象：主要的对象包含DAGScheduler和TaskScheduler 4.Driver把Application信息注册给Maste...
Shell脚本提交Spark任务简单案例
qq_64407249的博客
04-12 331
不知道是否是打包工具问题，手动将编译后的文件添加至相应目录下，问题得到解决。IDEA打包SparkETL模块，上传值HDFS的/tqdt/job目录。创建ods_ETL.sh脚本。打包后运行主类找不到。
【Spark】Spark 任务调度
每天更新大数据面经和技术
05-08 2500
  干了一周的活，感想就是 SQL 能力要提高，原理要搞清楚。SQL 熟练才能快速写出业务代码。原理搞清楚才能调优。运行一次程序需要一两个小时，调优后可以大大缩短任务运行时间。所以基础很重要。今天继续学习 Spark 的基础——Spark 任务调度机制。   在生产环境下，Spark 集群的部署方式一般为 YARN-Cluster 模式，之后的内核分析内容就 基于 YARN-Cluster 模式。YARN-Cluster 模式以及任务提交流程可以看之前的文章。 【Spark】Spark 的运行环境、运行架构
深入理解Spark Core：组件与运行模式
在Deploy模式方面，Spark Core支持多种部署方式，包括在YARN、Mesos集群管理系统上运行，以及独立的Standalone模式。这些部署选项使得Spark能够灵活地适应各种集群环境，提供资源管理和任务调度的功能。 RDD（弹性...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值