Spark提交作业运行原理及其参数设置

最新推荐文章于 2024-07-10 08:00:00 发布
原创 最新推荐文章于 2024-07-10 08:00:00 发布 · 1.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了使用 Spark-submit 脚本启动 Spark 应用时的常见配置参数，包括设置 Executor 和 Driver 的数量、内存大小及核心数等，有助于优化 Spark 任务的运行效率。

运行原理：


样例：

/opt/spark/bin/spark-submit \
--conf spark.num.executors=4 \
--conf spark.executor.memory=16g \
--conf spark.executor.cores=4 \
--conf spark.debug.maxToStringFields=1024  \
--conf spark.driver.memory=4g \
--conf spark.driver.cores=16 \


计算引擎Spark基本原理
zhengzaifeidelushang的博客
07-30 762
计算引擎Spark 一、Spark主要特点 1.性能高效 内存计算引擎：Spark允许用户将数据放到内存中以加快数据读取，进而提高数据处理性能。 通用DAG计算引擎：Spark可以使得数据通过本地磁盘或内存流向不同计算单元而不是像MapReduce那样借助低效的HDFS。 性能高效：Spark是在MapReduce基础上产生的，在相同资源消耗的情况下，Spark比MapReduce快几倍到几十倍。 2.简单易用 Spark提供了丰富的高层次的API，包括sortByKey、groupByKey等。实现相
Spark on Docker：容器化大数据开发环境搭建指南
最新发布
AI天才研究院
05-08 1324
随着大数据处理需求的爆发式增长，Apache Spark已成为分布式计算领域的事实标准。环境配置复杂性：Spark依赖Java、Scala运行时及Hadoop生态组件，版本兼容性问题频发环境一致性难题：开发、测试、生产环境的配置差异导致"在我机器上能跑"的经典问题资源隔离不足：多用户共享集群时易出现资源抢占和性能抖动分钟级环境初始化，无需手动配置依赖开发/测试环境完全镜像化，一键迁移资源细粒度隔离，支持多版本共存Docker基础架构与核心概念。
Spark提交作业参数
Laoddaaa的博客
08-19 973
Spark提交作业参数
spark提交作业参数
Zsigner的博客
06-15 585
推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后个人查阅 https://www.jianshu.com/p/5c388fd29806 1.在提交任务时的几个重要参数 executor-cores：每个executor使用的内核数，默认为1 num-executors：启动executors的数量，默认为2 executor-memory：executor内存大小，默认为1G driver-cores：driver使用内核数，默认为1 driver-memory：driver内存大小
spark提交作业时的参数说明
lonely_yfl的博客
05-15 498
–master master 的地址，提交任务到哪里执行，例如 spark://host:port, yarn, local –deploy-mode 在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client –class 应用程序的主类，仅针对 java 或 scala 应用 –name 应用程序的名称 –jars 用逗号分隔的本地 jar 包，设置后，这些 jar 将包含在 driver 和 executor 的 classpath 下 –packages 包含.
如何提交一个Spark任务?主要参数有哪些?
weixin_35753431的博客
02-17 414
答：提交Spark任务的主要步骤包括：1.构建SparkContext；2.准备Spark应用程序和任务所需的数据；3.调用相应的API，提交任务；4.处理任务结果。主要参数包括：1.作业名称；2.应用程序名称；3.资源要求，包括CPU、内存、磁盘空间等；4.作业类型；5.作业参数；6.作业环境变量；7.提交者的ID；8.提交时间。 ...
Spark提交任务参数全面解析
weixin_42326851的博客
07-10 4877
Spark提交任务参数全面解析
spark原理和实践
lt_xiaodou的博客
08-17 1706
Spark是用于大规模数据处理的统一分析引擎，是一种多语言引擎，可以用于单机节点或集群上来执行数据工程，数据科学和机器学习。多语言选择，用统一的方式处理流批的数据可以用为仪表盘执行快速的sql查询分析，适用于大规模的数据科学，对PB级别的数据来执行探索性的数据分析，对数据进行训练建模预测。机器学习，在单机上训练机器学习的算法，可以很方便的拓展到大规模集群上RDD是一个可以容错的，并行执行的分布式数据集，最基本的数据处理模型。...
【性能优化基础】：Spark作业运行效率提升，实用技巧全解析
探讨了Spark核心组件，如RDD与DataFrame，及其生命周期管理，数据分区与任务调度策略，以及内存管理与优化技巧。接着，重点分析了Spark作业性能监控与分析，包括监控工具的使用、日志分析方法和性能瓶颈诊断，并通过...
【spark床头书系列】Spark 如何在Kubernetes运行官方权威资料spark on k8s
wang2leee的博客
11-17 519
Spark可以在由Kubernetes管理的集群上运行。这个特性利用了添加到Spark中的原生Kubernetes调度器。
spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析
あずにゃん梓喵的博客
07-19 7127
Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...
spark-submit提交参数设置
laozhang0910的博客
03-24 344
https://www.cnblogs.com/gnool/p/5643595.html
spark 提交参数设置
diannao720的博客
06-16 2414
1.num-executors 50~100 2.executor-memory 4G~8G  num-executors乘以executor-memory，就代表了你的Spark作业申请到的总内存量,这个量是不能超过队列的最大内存量的 3.executor-cores 2~4    4.spark.default.parallelism  用于设置每个stage的默认task数量,Spar
Spark优化总结（三）——调参
蒋含竹的博客
01-04 3738
文章目录Spark优化总结（三）——调参前言简单示例常用参数JVM调参 Spark优化总结（三）——调参 前言 不要期待修改一个参数能够像魔法一样立马得到神奇的好效果！（某些时候效果确实很棒^_^）你应当把参数看作一道菜中的调味品，能够丰富味道，但主要还是得靠原材料的质量与炒菜的技艺。 开发Spark应用时，应当先优化好你的应用代码，再来思考调参优化（必要的参数的除外）。 调参是一个比较复杂的主.........
Spark参数调优实践
愤怒的小兵
12-31 1587
参数设置方法 Spark任务在提交时，可以通过以下几种方式进行参数设置： 环境变量 通过配置文件spark-env.sh添加，如 export JAVA_HOME=/usr/local/jdk export SCALA_HOME=/usr/local/scala export SPARK_MASTER_IP=127.0.0.1 export SPARK_MASTER_WEBUI_PORT=8088 export SPARK_WORKER_WEBUI_PORT=8099 export SPARK_WORKER
Spark作业提交原理
HYSliuliuliu的博客
12-14 8635
（1）Yarn-Cluster的Driver是在集群的某一台NM上，但是Yarn-Client就是在Client的机器上；（2）Driver会和Executors进行通信，所以Yarn_Cluster在提交App之后可以关闭Client，而Yarn-Client不可以；（3）Yarn-Cluster适合生产环境，Yarn-Client适合交互和调试。
问题解决：spark.debug.maxToStringFields
weixin_43087913的博客
06-11 4521
问题场景 使用spark 2.4.0进行统计数据，报错误，错误提示为： WARN Utils:66 - Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf. 原因 是因为该表字段个数比较多，超过了默认值25，所以提示报错。 解决方
Spark 参数配置的几种方法
萌兔兔MMQ！！
07-25 1787
1.Spark 属性 Spark应用程序的运行是通过外部参数来控制的，参数的设置正确与否，好与坏会直接影响应用程序的性能，也就影响我们整个集群的性能。参数控制有以下方式： （1）直接设置在SparkConf，通过参数的形式传递给SparkContext，达到控制目的。（通过set()方法传入key-value对）比如：val conf = new SparkConf() 　　　　.setMaster(”local[2]“) #注意1 　　　　.setAppName(”test“) 　　　　.set(“spa
spark.debug.maxToStringFields错误
qq_21735341的博客
07-27 6616
spark = SparkSession \ .builder \ .config('spark.debug.maxToStringFields', '100')\ .appName("Python Spark SQL data source example") \ .master('local[*]')\ .get...
Spark-submit参数详解及任务提交实战
通过掌握 spark-submit 的各项参数及其背后原理，开发者能够在复杂的大数据场景中精准控制资源、提升任务可靠性，并为后续性能调优打下坚实基础。无论是本地测试、开发验证还是大规模集群部署，熟练运用 spark-...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值