Spark相关配置项

已于 2023-12-11 16:33:18 修改
阅读量1.8k 收藏 2
点赞数
分类专栏： Spark 文章标签： spark big data 大数据
于 2022-01-22 15:58:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/nzbing/article/details/122638483
版权
本文详细介绍了Spark在本地模式与集群模式下的启动区别，包括启动方式、端口设置及web界面显示。同时，讨论了spark-shell与spark-submit的使用场景和异同，指出spark-shell作为交互式工具，内部依赖spark-submit执行任务。最后，提到了关键配置文件spark-defaults-conf和spark-env.sh的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

spark

一、spark-shell本地模式与集群模式的不同

1、启动方式:
本地模式:spark-shell后面不用写任何参数
集群模式:

  • spark-shell --master spark://master:7077
  • {SPARK_HOME}/conf目录下spark-defaults.conf,若没有,cp spark-defaults.conf.templete spark-defaults.conf 添加spark.master spark://master:7077,之后在命令行输入spark-shell不带参数,启动的也是集群模式

2、若是集群模式,master的端口7077一定要打开
3、web页面,本地模式下,启动spark-shell后8080端口页面不会有任何显示
集群模式下,8080web端口会有一个running applications
在这里插入图片描述
4、本地模式在本地运行,不运行在集群上

二、spark-shell与spark-submit的异同

  • spark-shell:交互式的,开发人员可以在上面进行编程,在运行时,会调用底层的spark-submit方法去执行
  • spa
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark 各种配置项
zhixingheyi_tian的博客
11-07 2356
/bin/spark-shell --master yarn --deploy-mode client /bin/spark-shell --master yarn --deploy-mode cluster There are two deploy modes that can be used to launch Spark applications on YARN. In cluster m...
Spark配置参数
Camu7s的专栏
01-26 3796
以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。例如IP地址、端口等信息日志
hadoop 3.x大数据集群搭建系列10-配置Spark Shell及Hive on Spark
只是甲的博客
12-06 736
hadoop大数据平台之 Spark shell及hive on spark
Spark配置
最新发布
qq_51180928的博客
03-06 1129
伪分布Spark配置
spark安装配置及其spark shell练习
Hi_this_is_ID的博客
11-14 368
1、下载spark压缩包，在虚拟机上解压安装 2、配置 在conf中复制spark-env.sh.template并重命名为spark-env.sh mv spark-env.sh.templatespark-env.sh 文件中添加如下配置： export JAVA_HOME=/root/apps/jdk1.8.0_201 #export SPARK_MASTE...
安装配置Spark
weixin_56581189的博客
03-15 781
完全分布式安装spark
<spark> ~/spark/conf/spark-default.conf 配置文件
baijiaozhan8157的博客
06-08 854
<spark> ~/spark/conf/spark-default.conf 配置文件 因为看到我参考的Hadoop/spark集群搭建的文档中的都没有对/spark-default.conf 的配置 合理地对 /spark-default.co...
Spark 常用配置总结
zzy66666c的博客
07-25 874
你的应用程序的。这将在用户界面（UI）和日志数据中显示。
Spark大数据配置集群
2302_80252080的博客
09-14 1220
Spark应用最终是以提交集群任务的方式运行的，因此在提交应用之前需要先启动集群，并查看集群状态，确保集群处于正常的可使用状态。值得注意的是，Scala、Java和Spark三者之间是有版本搭配限制的，可以根据官方文档提供的组合进行下载，否则会出现启动异常。安装的软件存在于 Ubuntu中配置的源服务器中,在源服务器中存储了大量的软件镜像,类似于一个软件应用商店，通过该命令，就可以通过网络从远程的应用商店中下载并安装SSH。在启动的时候如果出现需要输入密码的情况，这种情况则是因为部分文件没有设置权限。
【Spark】配置项调优
Nina的博客
08-23 542
配置项可以分为三大类：硬件资源类、Shuffle类和Spark SQL类。 一 硬件资源类 1.1 cpu相关配置 主要是配置 并行度 和 并行计算任务。 1.1.1 并行度 并行度，是从数据触达，明确数据划分的粒度，确定分布式数据集被划分为多少份。 1.1.2 并行计算任务 并行计算任务，是从计算任务、CPU出发，指的是任一时刻整个集群能够同时计算的任务数量。 1.2 内存相关配置 1.2.1 堆内存储与堆外存储的平衡 堆外内存的传递门：**** 总之，与JVM堆内内存相比，堆外内存的优势是：可以更精确的
SparkConf、spark-submit以及spark-defaults.conf
htfenght的博客
01-14 8683
北风网spark学习笔记 SparkConf、spark-submit以及spark-defaults.conf spark-submit脚本会自动加载conf/spark-defaults.conf文件中的配置属性，并传递给我们的spark应用程序 加载默认的配置属性，一大好处就在于，我们不需要在spark-submit脚本中设置所有的属性 比如说，默认属性中有一个spark.master属性...
spark配置默认值及其解释说明
11-20
spark配置
体验第一个spark程序（第四弹）
m0_57781407的博客
08-07 1885
先启动spark集群或者启动hdfs集群，如果之前有开启，则需要重新关闭再开启spark集群或者启动hdfs集群。以客户端模式连接Yarn集群，集群的位置可以在HADOOP_CONF_DIR环境变量中配置。以集群模式连接Yarn集群，集群的位置可以在HADOOP_CONF_DIR环境变量中配置。在standalone模式下，连接到指定spark集群，默认端口号是7077。在spark目录下启动spark服务（未停止的，先停止在启动）启动Hadoop服务（未停止的，先停止在启动）遇到不能创建问题是因为。...
Spark独立集群安装
wux_labs的博客
12-14 1069
Spark独立集群的安装，至少需要3台服务器，在安装Spark之前准备好3台服务器，服务器的主机名及IP地址分别是：node1（10.0.0.5)、node2（10.0.0.6）、node3（10.0.0.7），每台服务器都需要按统一规划安装好Java、Python、Spark软件包。
Spark本地模式和集群模式安装配置
m0_67401499的博客
08-24 666
1.下载地址：这里下载的是spark-2.0.1-bin-hadoop2.7.tgz ，别的版本可以自行选择前提：Linux需配置jdk环境，比较简单，自行百度。
spark对接aws s3以及兼容s3接口的对象存储
xingyunyang的博客
08-05 3679
spark对接aws s3或者其他厂商兼容s3接口的对象存储，替代本地存储或者hdfs存储jar包，日志等
spark集群搭建
a123op2346的博客
10-05 470
虚拟机配置bigdata-hmaster 192.168.135.112 4核心 32GBbigdata-hnode1 192.168.135.113 4核心 16GBbigdata-hnode2 192.168.135.114 4核心 16GBspark常用端口：8081：主界面18080：历史服务，该配置在配置文件中指定hosts配置，且三台机器中master节点能够通过ssh免密登录其它两台机器。
Spark 集群搭建（完整）
weixin_45131680的博客
09-12 5052
如果要在 Yarn 中运行 Spark 程序, 首先会和 RM 交互, 开启 ApplicationMaster, 其中运行了 Driver, Driver创建基础环境后, 会由 RM 提供对应的容器, 运行 Executor, Executor会反向向 Driver 反向注册自己, 并申请 Tasks 执行。对于 Spark Standalone 集群来说, 当 Worker 调度出现问题的时候, 会自动的弹性容错, 将出错的 Task 调度到其它 Worker 执行。
CentOS7安装CDH6.2.0以及CDH安装过程的坑
Alex的博客
06-03 1882
Can't open /var/run/cloudera-scm-agent/process/261-hdfs-DATANODE/supervisor.conf: Permission denied. 这个问题先处理权限问题，处理完事儿后再试， sduochmod-R777/usr/local/hadoop/logs chown-Rcloudera-scm:cloudera-scm/var/* 不行再用第二种方法； 怀疑是权限问题，上网查询了之后，才知道看起来...
spark CLI配置
11-08
其中，key是配置项的名称，value是配置项的值。 5. 例如，要将Spark SQL CLI的日志级别设置为DEBUG，可以使用以下命令： ``` SET spark.sql.debug=true; ``` 这将启用Spark SQL CLI的调试模式，以便更好地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我爱夜来香A

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值