Spark History Server配置

最新推荐文章于 2024-04-27 16:09:31 发布
原创 最新推荐文章于 2024-04-27 16:09:31 发布 · 168 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Spark集群中日志记录与历史服务器的配置方法。包括spark-defaults.conf中关于事件日志的启用、压缩及目录设置，以及spark-env.sh中历史服务器的各项参数配置，如端口、保留应用程序数量、日志目录、清理策略等。

1、spark-defaults.conf：spark.eventLog开头的配置
spark.eventLog.enabled          true
spark.eventLog.compress         true
spark.eventLog.dir              hdfs://ip:port/log/或者file:///tmp/spark-events
2、spark-env.sh中的SPARK_HISTORY_OPTS：spark.history开头的配置
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=300 -Dspark.history.ui.maxApplications=2000 -Dspark.history.fs.logDirectory=hdfs://ip:port/log/ -Dspark.history.fs.cleaner.enabled=true -Dspark.history.fs.cleaner.interval=1d -Dspark.history.fs.cleaner.maxAge=7d"

spark history server 本地路径
merrily01的博客
06-09 1012
本地启spark history server，spark.history.fs.logDirectory除了可以设置为hdfs远程目录外，还可以设置为本地路径，如： ./start-history-server.sh file:///home/te/maruilei/scripts/logs/tmp_log/
Spark History Server 没有生效
Liu-Cheng Xu
07-19 3956
Spark 提供了 Web UI 来对 Spark 应用进行监控。每个 SparkContext 会启动一个 web UI，默认是在 4040 端口。它显示了应用相关的有用的信息，包括： 一系列的 scheduler stage 和 task RDD 大小和内存占用的概要 环境信息 正在运行的 executor 的一些信息 只要打开 http://:4040 就可以看到该页面。如果有多个 Spark
配置 Spark HistoryServer
夜雨寒霜
12-21 873
第一步： cd /home/hadoop/apps/spark-2.3.0-bin-hadoop2.7/conf cp spark-defaults.conf.template spark-defaults.conf 在文件里面添加如下内容： spark.eventLog.enabled     true spark.eventLog.dir     hdfs://myha01/ssparklo...
Spark History server配置使用
逝无痕——kaidy
04-02 2158
文章目录为什么需要HistoryServerHistoryServer简介HistoryServer配置1 新建保存spark events的目录2 配置spark-defaults.conf3 配置spark-env.sh启动HistoryServer 为什么需要HistoryServer 在Spark安装成功，通过spark-submit工具提交任务后，只要在Spark应用程序运行期间，可以通...
Spark 配置History
sunrising_hill的专栏
07-28 674
首先在spark-defaults.conf中添加线面两行：spark.eventLog.enabled true spark.eventLog.dir hdfs://master.domain.com:9000/log/sparkLogs在spark-env.sh中添加下面两行：export SPARK_HISTORY_OPTS="-Dspark....
spark-defaults.conf配置文件
热门推荐
军军的博客
01-16 1万+
spark.master spark://master:7077spark.eventLog.enabled truespark.eventLog.dir hdfs://namenode:8021/directoryspark.serializer org.apache.spark.serializer.KryoSerializerspark.driver.memory 5gspark.execu
SparkConf、spark-submit以及spark-defaults.conf
htfenght的博客
01-14 8878
北风网spark学习笔记 SparkConf、spark-submit以及spark-defaults.conf spark-submit脚本会自动加载conf/spark-defaults.conf文件中的配置属性，并传递给我们的spark应用程序 加载默认的配置属性，一大好处就在于，我们不需要在spark-submit脚本中设置所有的属性 比如说，默认属性中有一个spark.master属性...
如何杜绝 spark history server ui 的未授权访问?
明哥的IT随笔
11-16 1720
如何杜绝 spark history server ui 的未授权访问?
Spark学习（六）高可用集群配置HistoryServer
potter
04-25 746
为了方便管理日志，记录Spark程序运行结果，需要进行historyServer配置1、常规单节点配置第一步： cp spark-defaults.conf.template spark-defaults.conf 在文件里面添加如下内容： spark.eventLog.enabled true spark.eventLog.dir ...
spark-defaults.conf 里的参数被加载的时机
houzhizhen的专栏
10-11 4077
org.apache.spark.launcher.CommandBuilderUtils static final String DEFAULT_PROPERTIES_FILE = "spark-defaults.conf";org.apache.spark.launcher.AbstractCommandBuilder /** * Loads the configuration
大数据常见错误解决方案（转载）
defang0693的博客
02-24 3354
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env....
spark日志服务器配置
qq_41669665的博客
10-19 445
spark-default.xml 增加三个配置项   spark.eventLog.enabled           true   spark.eventLog.compress          true   spark.eventLog.dir               hdfs://10.120.4.246:9000/spark/log/   spark.yarn.historySe...
<spark> ~/spark/conf/spark-default.conf 配置文件
baijiaozhan8157的博客
06-08 929
<spark> ~/spark/conf/spark-default.conf 配置文件 因为看到我参考的Hadoop/spark集群搭建的文档中的都没有对/spark-default.conf 的配置 合理地对 /spark-default.co...
配置spark的HistoryServer
04-27 1020
如果需要在spark中配置好historyserver，则需要再修改两处设置。你可以通过http://ip地址:18080查看spark程序的运行。注：首先要手工建立日志记录文件夹，服务器不会自动建立，建立命令如下。如果通过jps能够看到HistoryServer，则说明已经启动了。
SPARK ON YARN 配置 history server
genius0182的专栏
06-25 5501
今天在单位搭建SPARK ON YARN时，发现 yarn里的history不好用。于是开始搭建。这里记录一下遇到的一些问题。首先，如果你的yarn-site.xml 里面用的是主机名配置。一定要在本地。WINDOWS下的host把你的主机名配上。因为这个原因，浪费了好多时间。二、如果想用spark on yarn模式，并且要查看history的话，一定要在yarn-site.xml里配置如下： ...
Spark History Server配置使用
weixin_33696106的博客
09-19 640
Spark history Server产生背景 以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录； Spark histor...
spark history server 配置
艾文
10-27 3580
Spark history server 日志配置，方便查看历史作业信息和日志 主要修改yarn-site.xml 、spark-defaults.conf、spark-env.sh 三个配置文件，具体步骤如下： 1.1  yarn-site.xml 配置（需要重启所有的nodemanager） yarn.log-aggregation-enable
cdh 中 spark 配置 lzo
qq_19917081的博客
02-14 1617
1，在cdh的spark页面 中添加如下配置： spark-conf/spark-env.sh 的 Spark 服务高级配置代码段（安全阀）： export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/native export SPARK_LIBRARY_PATH=$S
spark启动historyserver指令
最新发布
10-08
<think>首先，用户的问题是：“我想查找启动Spark history server的指令 请问启动Spark history server的指令”。这直接相关到Spark History Server的启动命令。 从提供的引用中，我可以提取相关信息： - 引用[4]说：“部署Spark的历史服务器---Spark History Server。进入第一台主机即master机上，进入Spark安装目录,执行以下命令： sbin/start-all.sh 2、启动Spark历史服务 sbin/start-all.sh 3、访问历史服务页面 http://master:4000/ [^4]。” 引用[4]提到启动Spark历史服务使用“sbin/start-all.sh”，但这似乎是错误的，因为“start-all.sh”通常启动Spark集群，而不是History Server。引用[4]说“启动Spark历史服务 sbin/start-all.sh”，这可能是打字错误或不准确。参考标准的Spark文档，我知道启动History Server的命令是“start-history-server.sh”。 - 引用[3]是关于配置的，但没有直接给出启动命令。 - 引用[5]提到了一些配置参数，但没有启动指令。 用户上一次的问题和我的回答：在用户的历史中，这是第一个问题，因为没有之前的交互记录。所以，我需要直接基于当前查询回答。 系统级指令要求： - 所有行内数学表达式使用$...$格式，但这个问题是关于Spark的命令，不涉及数学表达式，所以我可能不需要使用数学格式。指令说“包括变量、不等式、方程等”，但这里没有这些内容。 - 独立公式使用$$...$$，但同样，这里不适用。 - LaTeX语法正确：不相关。 - 使用中文回答：是的，用户问题是中文，所以我用中文回答。 - 生成相关问题：指令说“生成相关问题”，在用户可见层，我应该包括相关问题。 - 回答结构清晰，逐步解决问题：我应该提供清晰的步骤。 - 末尾添加引用标识：指令说“自然地添加引用标识”，例如[^1]。 从引用中： - 引用[4]提到了启动命令，但似乎是错误的。 标准Spark启动History Server的命令是：在Spark安装目录下的sbin目录中，运行“./sbin/start-history-server.sh”。 确认引用[4]：它说“sbin/start-all.sh”两次，这可能是一个错误。它应该是“start-history-server.sh”。 引用[1]是关于Spark History Server的作用。 引用[2]关于History Server卡住的问题。 引用[3]是配置。 引用[5]是异常处理的配置。 所以，最相关的部分是引用[4]，但需要纠正。 在我的回答中，我应该提供正确的命令。 步骤： 1. 确保Spark已正确配置，尤其是“spark.history.fs.logDirectory”指向事件日志的位置（如引用[3]）。 2. 然后，在Spark安装目录下运行启动脚本。 正确命令是：`./sbin/start-history-server.sh` 或者，如果使用sbin目录：`sbin/start-history-server.sh` 现在，构建回答： - 开头直接回答用户的问题。 - 提供步骤：如何启动Spark History Server。 - 包括配置提示，因为启动前需要配置。 - 自然地添加引用来源。 - 最后，生成相关问题，作为§§相关问题§§部分。 相关问题示例（基于系统指令）： 1. 如何配置Spark History Server的参数？ 2. 如何验证Spark History Server是否成功启动？ 3. Spark History Server启动失败常见原因是什么？ 回答结构： - 清晰列出步骤。 - 使用代码块展示命令（如示例中的Python代码）。 - 引用相关引用。 最终回答： 启动Spark History Server的指令通常是： ```bash ./sbin/start-history-server.sh ``` 在Spark安装目录下执行。 但前提是已经正确配置了Spark History Server，例如设置了事件日志目录。 引用来源：基于引用[3]和[4]，但[4]似乎有误，所以我参考标准知识。 在引用中，[4]提到了“sbin/start-all.sh”，但这不是针对History Server的；[3]是关于配置的。 所以，在回答中说：根据Spark文档和引用内容... 自然地添加引用：[^4]在提到启动时，但需要澄清。 或许：[^4]中提到了启动命令，但标准做法是使用start-history-server.sh。 为了安全，我可以说：参考Spark官方文档和引用[3]的配置信息。 然后，在末尾列出引用标识。 生成相关问题： §§相关问题§§ 1. Spark History Server的基本配置参数有哪些？ 2. 如何检查Spark History Server的状态？ 3. Spark History Server启动失败怎么排查？ </think>基于提供的引用和Spark标准文档，启动Spark History Server的指令通常在Spark安装目录下执行。以下是清晰的启动步骤和注意事项： ### 启动Spark History Server的步骤 1. **前提条件**：确保Spark History Server已正确配置。关键配置参数包括设置事件日志目录（如`spark.history.fs.logDirectory`），这些配置通常在`spark-defaults.conf`文件中定义。参考示例配置： ```properties spark.eventLog.enabled = true spark.eventLog.dir = hdfs://192.168.48.132:9000/log # HDFS日志目录 spark.history.fs.logDirectory = hdfs://192.168.48.132:9000/log # History Server读取的目录 spark.history.ui.port = 18080 # Web UI端口 spark.history.retainedApplications = 20 # 保留的应用数量 ``` 配置完成后，需要重启Spark集群以生效[^3]。 2. **执行启动命令**： - 登录到Spark主节点（如master机），进入Spark安装目录（例如`/path/to/spark`）。 - 在终端中运行以下命令启动History Server： ```bash ./sbin/start-history-server.sh ``` 或者，如果已添加`sbin`目录到环境变量PATH中，可直接使用： ```bash start-history-server.sh ``` 此命令会启动History Server守护进程，默认Web UI地址为`http://<hostname>:18080`（端口可在配置中自定义）。 3. **验证启动**： - 检查日志输出：启动后，查看`logs/`目录下的日志文件（如`spark-<user>-org.apache.spark.deploy.history.HistoryServer-<hostname>.out`），确认无错误信息。 - 访问Web UI：打开浏览器，访问`http://<master-hostname>:18080`（例如`http://192.168.48.132:18080`），应显示Spark应用的运行历史列表[^1][^4]。 ### 注意事项 - **脚本位置**：`start-history-server.sh`脚本位于Spark安装目录的`sbin`子目录下。如果找不到该脚本，请确认Spark版本支持History Server（Spark 1.0+ 默认包含）。 - **环境要求**：History Server需要访问事件日志目录（如HDFS），确保目录权限正确且Spark配置一致。否则可能导致启动失败或无法解析日志[^2][^3]。 - **内存优化**：如果History Server在启动后卡住或OOM（Out of Memory），可调整JVM内存参数（如`spark_history_daemon_memory=8g`），以提升稳定性[^5]。 - **停止命令**：需要停止History Server时，运行`./sbin/stop-history-server.sh`。 以上指令基于Spark标准实践和引用内容[^3][^4]。如果启动失败，请检查配置文件和日志错误。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值