Spark常用参数解释及建议值

最新推荐文章于 2024-07-25 19:15:03 发布
原创 最新推荐文章于 2024-07-25 19:15:03 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Spark的常用参数及其建议值，强调了默认配置的优先级最低，用户可以根据任务需求进行调整。例如，若要使用JDK8，需设置JAVA_HOME环境变量，并通过--conf指定。此外，建议在使用Python库时配合Docker容器。

Spark常用参数解释及建议值
spark的默认配置文件位于堡垒机上的这个位置: $SPARK_CONF_DIR/spark-defaults.conf，用户可以自行查看和理解。
需要注意的是，默认值优先级最低，用户如果提交任务时或者代码里明确指定配置，则以用户配置为先。 用户再理解参数含义的基础上，可根据具体任务情况调整参数。
以下常用参数配置均可以通过 --conf XXX=Y 方式使用，其他参数以及介绍请参考 https://spark.apache.org/docs/latest/configuration.html
在这里插入图片描述
在这里插入图片描述
Spark默认使用jdk7，使用jdk8的话添加如下配置：
若只设置客户端jdk版本：
export JAVA_HOME=/software/servers/jdk1.8.0_121
若设置整个应用程序的jdk版本：
–conf spark.yarn.appMasterEnv.JAVA_HOME=/software/servers/jdk1.8.0_121
–conf spark.executorEnv.JAVA_HOME=/software/servers/jdk1.8.0_121
Spark使用各种python库请使用docker

DockerLinuxContainer的使用例子

./bin/spark-submit --class org.apache.spark
最低0.47元/天 解锁文章
以集群方式运行pyspark
私奔在线
05-21 2903
一、背景说明 　　单机执行pyspark（python on spark）非常简单，只要在脚本所在服务器上部署个python环境或Anaconda这种集成运行环境，再通过python3命令执行就完了。 　　而想将python提交到spark集群中运行，则有两种方法，一种是在每个spark结点上部署python环境，在spark低版本与python集成没那么完善的时候，集群结点数又不多的情况下，的确可以这么干（实际上我就这么干过），这种方式比较大的优势是每次执行pyspark任务时，不用分发python环
【spark床头书系列】如何在YARN上启动Spark官网权威详解说明
wang2leee的博客
10-10 597
在YARN上可以使用两种部署模式来启动Spark应用程序。在 `cluster` 模式下，Spark driver 在由YARN在集群上管理的应用程序主进程中运行，客户端在启动应用程序后可以退出。在 `client` 模式下，driver 在客户端进程中运行，应用程序主进程仅用于从YARN请求资源
如何在Spark，MapReduce和Flink程序里面指定JAVA_HOME
优快云_Hzx的博客
06-04 1840
最近遇到一个bug，自己编写的spark程序本地调试没问题之后想提交到集群上运行，报错内容如下： Exception in thread "main" java.lang.UnsupportedClassVersionError: com/iteblog/mobile/UserMobileInfo : Unsupported major.minor version 52.0 现特此整理了一下分享给大家： 其实报错已经很明显了，java8版本有问题，那具体原因是什么呢，其实就是本地编写spark用的是j
Spark on YARN
努力的凹凸曼的博客
10-10 311
YARN概述 YARN是什么 Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YARN在Hadoop生态系统中的位置 YARN产生的背景 随着互联网高速发...
Spark On YARN时指定Python版本
benrciv的博客
02-10 2456
Spark On YARN时指定Python版本
【基本功】Spark常用参数详解
2301_77818583的博客
04-24 3135
官网文档永远是最好的指导手册。
Spark 常用配置总结
zzy66666c的博客
07-25 1048
你的应用程序的。这将在用户界面（UI）和日志数据中显示。
tez和spark常用参数调优
行走的树
06-22 1325
1、tez参数 2、spark参数 3、spark小文件解决思路：
Spark调优—参数调优
weixin_44077750的博客
01-08 3410
spark调优—参数调优
Spark记录-实例和运行在Yarn
weixin_30375247的博客
11-07 242
#运行实例 #./bin/run-example SparkPi 10 #./bin/spark-shell --master local[2] #./bin/pyspark --master local[2] #./bin/spark-submit examples/src/main/python/pi.py 10 #./bin/sparkR --master local[2] ...
Spark程序里使用指定的JDK版本
运维老兵的专栏
04-24 2576
1.客户端和yarn集群都部署了相同版本的JDK 如客户端和yarn集群的JDK均安装在 /usr/java/jdk1.8.0_25目录 通过参数设置 spark.executorEnv.JAVA_HOME和spark.yarn.appMasterEnv.JAVA_HOME，这分别为 Spark 的 Executor 和 Driver 指定 JDK 路径，如下： $SPARK_H...
Spark 在YARN上运行
大强博客
01-31 5487
在YARN上运行Spark 安全 在YARN上启动Spark 添加其他JAR 准备工作 组态 调试您的应用程序 Spark特性 重要笔记 的Kerberos YARN特定的Kerberos配置 Kerberos故障排除 配置外部随机播放服务 使用Apache Oozie启动您的应用程序 使用Spark History Server替换Spark Web U...
Spark On Yarn 部署（不带权限功能）注意替换域名和网址
m0_67392661的博客
08-24 203
中间SPARK_XXXXX的是配置Driver和Executor的资源配置，我的虚拟机测试环境资源有限，大家可以根据集群配置和任务大小进行调整，这里是全局生效，每个Spark Application在提交至YARN的时候可以单独配置。最后一个比较重要，Spark的history-server在启动的时候会通过它们决定绑定的端口和获取历史应用日志文件的位置，非常重要，不然无法查看历史上执行的Spark应用信息。
spark java mapreduce_如何在Spark、MapReduce和Flink程序里面指定JAVA_HOME
weixin_42324002的博客
02-13 213
大家在使用 Exception in thread "main" java.lang.UnsupportedClassVersionError: com/iteblog/mobile/UserMobileInfo : Unsupported major.minor version 52.0at java.lang.ClassLoader.defineClass1(Native Method)at ...
spark需要 java的版本_如何为Spark Application指定不同的JDK版本详解
weixin_27215403的博客
02-25 1460
前言随着企业内部业务系统越来越多，基于JVM的服务，通常情况线上环境可能会有多套JDK跑不同的服务。大家都知道基于高版本的Java规范编写的服务跑在低版本的JVM上会出现：java.lang.UnsupportedClassVersionError的异常。Spark 2.2开始移除了对Java 7的支持，大多数情况下，我们的Spark Application是和Hadoop系统公用的JDK，如果H...
Spark 启动时，报JAVA_HOME is not set
lydms的博客
08-25 2390
配置Java的环境变量。
【Spark】【第三章】 Spark运行环境
weixin_43589563的博客
11-18 1721
本地模式 所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等，之前在IDEA中运行代码的环境我们称之为开发环境，不太一样。 1.解压缩文件 将spark-3.0.0-bin-hadoop3.2.tgz文件上传到Linux并解压缩，放置在指定位置，路径中不要包含中文或空格，课件后续如果涉及到解压缩操作，不再强调 tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module cd /opt/mod
Spark运行在JDK 17上的参数配置
sinat_23257429的博客
08-14 1310
在将Spark应用程序迁移到JDK 17并进行集成时，需要进行一些额外的参数配置。另外，在集成时可能会遇到Hive外部元数据服务异常，具体问题可以查看链接。为了解决该问题，需要修改相关代码并重新打包。注意，在打包时要确保。其他参数直接复制即可。垃圾收集器的参数是可选的，这里配置了。中，并将这两个jar包一起添加到classpath中。用于指定执行器的Java安装目录。用于指定节点的Java安装目录，以使用ZGC垃圾收集器。
三, Spark 四种运行环境配置总结
菜菜的大数据开发の路
02-27 3746
三, Spark 运行环境 Spark 的运行模式有 Local(也称单节点模式），Standalone(集群模式），Spark on Yarn(运行在Yarn上），Mesos以及K8s, Windows模式等常用模式 3.1 Local模式 Local模式被定义为不需要其他任何节点资源, 在本地执行Spark代码的环境,也叫单机模式, 一般用于教学,调试, 演示等等, 配置文件设置方法: conf.setMaster[local[K]] 1. 解压相关的依赖文件 将 spark-3.0.0-
spark任务提交全参数含义及默认值
最新发布
12-09
### 六、常用参数组合示例（YARN模式） ```bash spark-submit \ --master yarn \ --deploy-mode cluster \ --num-executors 10 \ --executor-cores 4 \ --executor-memory 8g \ --driver-memory 4g \ --conf...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值