Spark常用参数解释及建议值

最新推荐文章于 2024-06-18 19:33:53 发布
最新推荐文章于 2024-06-18 19:33:53 发布
阅读量1k 收藏
点赞数
分类专栏： hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ABCDEFG0929/article/details/96994080
版权
本文介绍了Spark的常用参数及其建议值，强调了默认配置的优先级最低，用户可以根据任务需求进行调整。例如，若要使用JDK8，需设置JAVA_HOME环境变量，并通过--conf指定。此外，建议在使用Python库时配合Docker容器。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Spark常用参数解释及建议值
spark的默认配置文件位于堡垒机上的这个位置: $SPARK_CONF_DIR/spark-defaults.conf，用户可以自行查看和理解。
需要注意的是，默认值优先级最低，用户如果提交任务时或者代码里明确指定配置，则以用户配置为先。 用户再理解参数含义的基础上，可根据具体任务情况调整参数。
以下常用参数配置均可以通过 --conf XXX=Y 方式使用，其他参数以及介绍请参考 https://spark.apache.org/docs/latest/configuration.html
在这里插入图片描述
在这里插入图片描述
Spark默认使用jdk7，使用jdk8的话添加如下配置：
若只设置客户端jdk版本：
export JAVA_HOME=/software/servers/jdk1.8.0_121
若设置整个应用程序的jdk版本：
–conf spark.yarn.appMasterEnv.JAVA_HOME=/software/servers/jdk1.8.0_121
–conf spark.executorEnv.JAVA_HOME=/software/servers/jdk1.8.0_121
Spark使用各种p

最低0.47元/天 解锁文章
Spark 常用配置总结
zzy66666c的博客
07-25 895
你的应用程序的。这将在用户界面（UI）和日志数据中显示。
以集群方式运行pyspark
私奔在线
05-21 2800
一、背景说明 　　单机执行pyspark（python on spark）非常简单，只要在脚本所在服务器上部署个python环境或Anaconda这种集成运行环境，再通过python3命令执行就完了。 　　而想将python提交到spark集群中运行，则有两种方法，一种是在每个spark结点上部署python环境，在spark低版本与python集成没那么完善的时候，集群结点数又不多的情况下，的确可以这么干（实际上我就这么干过），这种方式比较大的优势是每次执行pyspark任务时，不用分发python环
Spark on YARN
努力的凹凸曼的博客
10-10 275
YARN概述 YARN是什么 Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YARN在Hadoop生态系统中的位置 YARN产生的背景 随着互联网高速发...
Spark On YARN时指定Python版本
benrciv的博客
02-10 2168
Spark On YARN时指定Python版本
Spark记录-实例和运行在Yarn
weixin_30375247的博客
11-07 226
#运行实例 #./bin/run-example SparkPi 10 #./bin/spark-shell --master local[2] #./bin/pyspark --master local[2] #./bin/spark-submit examples/src/main/python/pi.py 10 #./bin/sparkR --master local[2] ...
Spark 在YARN上运行
大强博客
01-31 5323
在YARN上运行Spark 安全 在YARN上启动Spark 添加其他JAR 准备工作 组态 调试您的应用程序 Spark特性 重要笔记 的Kerberos YARN特定的Kerberos配置 Kerberos故障排除 配置外部随机播放服务 使用Apache Oozie启动您的应用程序 使用Spark History Server替换Spark Web U...
tez和spark常用参数调优
行走的树
06-22 1262
1、tez参数 2、spark参数 3、spark小文件解决思路：
Spark调优—参数调优
weixin_44077750的博客
01-08 3313
spark调优—参数调优
Spark参数详解
最新发布
xiaoxiaohacker的专栏
06-18 1570
写博客只是为了学习总结或者工作内容备忘，不保证及时性和准确性，看到的权当个参考哈！ --num-executors 设置任务executor个数，默认值为4，一般调整此参数需要同时调整并行度（参考4）。任务设置executor个数的依据是业务期望任务运行时间，可以先设置一个较小值，通过调整此参数及并行度直到任务运行时间达到期望。 --executor-cores 设置单个execut...
spark采用命令行方式提交的配置说明（yarn模式）-持续更新
xfysq_的博客
03-29 920
spark采用命令行方式提交的配置说明（yarn模式）
如何在Spark，MapReduce和Flink程序里面指定JAVA_HOME
优快云_Hzx的博客
06-04 1781
最近遇到一个bug，自己编写的spark程序本地调试没问题之后想提交到集群上运行，报错内容如下： Exception in thread "main" java.lang.UnsupportedClassVersionError: com/iteblog/mobile/UserMobileInfo : Unsupported major.minor version 52.0 现特此整理了一下分享给大家： 其实报错已经很明显了，java8版本有问题，那具体原因是什么呢，其实就是本地编写spark用的是j
spark源码跟踪(十)container申请与Executor启动
weixin_43172032的博客
02-24 1855
Container申请与Executor启动一，介绍二，YarnAllocator说明2.1，类构造函数三，Container资源申请3.1，常用概念及其类3.3，调用过程3.3.1，allocateResources(): Unit3.3.2，请求资源3.3.3，handleAllocatedContainers3.3.3，ExecutorRunnable四，YarnCoarseGrainedExecutorBackend进程 一，介绍 yarn-cluster模式下，Spark Container资源的
Spark on Yarn用执行流程图解（包含stage流程）
GSpinach的博客
08-11 6661
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录前言 前言
spark源码-任务提交流程之-4-container中启动executor
m0_37817767的博客
07-26 727
spark源码
【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解
如切如磋，如琢如磨，臻于至善。
03-13 2099
这个执行器仅在GNU/Linux上支持。为了最大化安全，executor安装限制本地文件和被容器使用目录（如共享对象，jars，中间文件，日志文件等等）的权限和用户/组所属权。这里的组hadoop是NodeManager Unix用户（yarn）所属的组，并且组内没有非hadoop相关的用户，以防安全风险。在NodeManager中，会为每个Application，以及每个Container建立一个对应的目录，在每个Container的目录下，就放置了一些运行这个Container必需的信息。
pyspark 随机森林训练和预测项目
weixin_48412526的博客
05-24 1085
pyspark 项目训练 配置spark环境 import json import datetime import pandas as pd from pyspark.sql import SparkSession import pyspark.sql.functions as F from pyspark.sql.functions import col from pyspark.sql.types import StructType,StructField, StringType, Integer
2万字硬核spark源码精讲手册
10-31 3969
spark源码精讲，结合企业级开发和面试实战重点关注内容
使用spark遇到的问题
zhaodongh的博客
06-15 524
1.如何设置广播变量： from pyspark.sql import SparkSession from pyspark.sql import functions as F from pyspark.sql import Window from pyspark.sql.types import StructField from pyspark.sql.types import StructType from pyspark.sql.types import StringType from pyspar
第35课Spark Master、Worker、Driver、Executor工作流程详解
热门推荐
zhumr的专栏
09-12 2万+
第35课Spark Master、Worker、Driver、Executor工作流程详解
Java与Apache Spark实现电影推荐系统及模型评估
本文将详细探讨一个基于Java语言和Apache Spark框架实现的电影推荐系统，同时涉及推荐系统中常用的协同过滤技术，以及如何在大规模数据集上利用Apache Spark的交替最小二乘（ALS）算法进行模型训练和预测。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值