Spark 配置History

最新推荐文章于 2025-05-13 14:34:10 发布

原创最新推荐文章于 2025-05-13 14:34:10 发布 · 655 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hdfs

Spark 专栏收录该内容

8 篇文章

订阅专栏

本文介绍如何通过修改spark-defaults.conf和spark-env.sh文件来配置Spark History Server，包括启用事件日志记录、设置日志目录及重启Spark服务等步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先在spark-defaults.conf中添加线面两行：

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://master.domain.com:9000/log/sparkLogs

在spark-env.sh中添加下面两行：

export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://master.domain.com:9000/log/sparkLogs"
export SPARK_PUBLIC_DNS=master.domain.com

然后重新启动spark和history：

cd spark-install-dir
./sbin/stop-all.sh
./sbin/start-all.sh
./sbin/start-history-server.sh

此时访问服务器，就会看到History Server已经启动了：

http://master.domain.com:18080

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

sunrising_hill

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Spark启动HistoryServer

merrily01的博客

02-02

2491

1.spark-defaults.conf中添加配置，开启eventLog并指定存放路径： spark.eventLog.enabled=true spark.eventLog.compress=true spark.eventLog.dir=hdfs://XXX:9000/spark_eventlog/ 2. $SPARK_HOME/sbin下，执行 ./start-history-server.sh 启动history-server：需要注意的是,start-history-server..

Spark 配置 Standalone 集群以及 Job History Server

a1786742005的博客

03-14

687

一、环境准备 1、准备三台 linux 机器 2、每台机器都设置好 ip 和主机名 3、每台机器设置主机名与 ip 映射 4、每台机器都关闭防火墙 5、设置机器与机器之间的 ssh 通信 6、每台机器都提前安装好 jdk 7、准备 spark 安装包二、部署 standalone 集群 1、集群规划 hadoop151 hadoop152 hadoop153 master ...

参与评论您还未登录，请先登录后发表或查看评论

spark-location-history:使用 Spark 以热图的形式可视化您的 google 位置历史记录以聚合数据的应用程序

06-23

可视化您的位置记录！如果您有 Android 手机并启用了位置报告功能，Google 会存储您的位置历史记录（请参阅）。这是一个应用程序，它使用 Spark 以热图的形式可视化您的位置历史来聚合（可能是大量的）数据，例如：开始以下是数据流的概述：为了开始，请执行以下操作： 1) 下载您的位置历史数据在下载您的位置历史数据您可以取消选择除位置历史以外的所有内容。单击下一步并等待您的位置历史数据准备就绪。下载数据后，将其解压缩并将其放入结帐中的data/input/目录中。 2) 安装 InfluxDB、Spark 和 Python 包 [Mac] 安装： $ brew install influxdb [Mac] 安装 Spark： $ brew install apache-spark 安装 Python（2.7 版）包： $ pip install

配置 Spark HistoryServer

夜雨寒霜

12-21

851

第一步： cd /home/hadoop/apps/spark-2.3.0-bin-hadoop2.7/conf cp spark-defaults.conf.template spark-defaults.conf 在文件里面添加如下内容： spark.eventLog.enabled true spark.eventLog.dir hdfs://myha01/ssparklo...

Spark，配置历史服务

热门推荐

CMSurprise的博客

11-16

1万+

问题描述在Spark安装成功后，无论是通过spark-submit工具还是通过Intellij IDEA提交任务，只要在Spark应用程序运行期间，都可以通过WebUI控制台页面来查看具体的运行细节，在浏览器中通过地址：http://<driver-node>:4040即可查看当前的运行状态。但是一旦应用程序运行结束，该Web界面也就失效了，无法继续查看监控集群信息。无法回顾刚刚运行的程序细节，进而

Spark配置之历史服务器（HistoryServer）

guohuishan的博客

12-30

2577

为什么要配置历史服务器 DriverProgram:客户端；提交一个应用程序（application）以后，再提交一次，就无法查看之前的提交信息了；使用历史服务器就可以具体配置过程如下：现有客户机（clus10，clus11，clus12，clus13）首先启动zookeeper bin/zkServer.sh start bin/zkServer.sh status 查看状态（一个leade...

Hive on Spark 配置

hu_wei123的博客

03-30

2524

Hive引擎包括：MR（默认）、tez、spark。Hive on Spark：Hive既作为存储元数据又负责 SQL 的解析优化，语法是 HQL 语法，执行引擎变成了 Spark，Spark 负责采用 RDD 执行。Spark on Hive：Hive 只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用 RDD 执行。

Spark History Server 配置方法

Daverain的博客

07-11

910

一、配置目的我们在spark上运行程序的时候会经历很多次任务失败，而任务结束后，我们无从得知问题处在哪里，Spark提供了History Server服务可以保存历史Application的运行记录，帮助我们更好的解决问题。官方文档参考:https://spark.apache.org/docs/latest/configuration.html 二、基本原理 Spark作业将作业执行...

Spark History Server配置

cxy1991xm的博客

04-15

158

1、spark-defaults.conf：spark.eventLog开头的配置 spark.eventLog.enabled true spark.eventLog.compress true spark.eventLog.dir hdfs://ip:port/log/或者file:///tmp/spark-events 2、spar...

Spark配置historyserver

C_time的博客

11-06

429

先看一下spark是否启动是访问8080端口不是7077 成功

spark配置历史服务

weixin_45401713的博客

03-15

503

修改spark-defaults.conf.template文件名 mv spark-defaults.conf.template spark-defaults.conf 修改spark-default.conf文件，配置日志存储路径 spark.eventLog.enabled true spark.eventLog.dir hdfs://Hadoop102:8020/directory 注意：需要启动hadoop集群（hadoop102: start

【spark笔记】HistoryServer服务配置

m0_37911384的博客

09-17

347

配置文件：spark-defaults.conf spark.eventLog.enabled true spark.eventLog.dir hdfs://IP:8020/spark-events #提前创建好目录 spark.eventLog.compress true #压缩，减少资源消耗配置文件：spark-env....

从0到1进行Spark history分析

fhw10204130的专栏

12-28

743

一、总体思路# 以上是我在平时工作中分析spark程序报错以及性能问题时的一般步骤。当然，首先说明一下，以上分析步骤是基于企业级大数据平台，该平台会抹平很多开发难度，比如会有调度日志（spark-submit日志）、运维平台等加持，减少了开发人员直接接触生成服务器命令行的可能，从物理角度进行了硬控制，提高了安全性。下面我将带领大家从零到一，从取日志，到在Spark WebUI进行可视化分析相关报错、性能问题的方法。二、步骤# （一）获取applicationID# 1.从调度日志获取#

spark03: 基础——Spark history server、Spark任务调度、读写分布式数据

Big_data_implicit_

11-28

488

1、Spark的历史服务－spark history server 在实际生产中，需要查看已经执行的任务的详细日志信息 [root@linux01 conf]# start-history-server.sh 1.1 配置历史服务 1.1.1 修改spark conf下的spark-defaults.conf，添加 # 启用spark history server eventlog.dir会为每一个任务创建一个子目录 spark.eventLog.enabled tru...

Spark学习（六）高可用集群配置HistoryServer

potter

04-25

716

为了方便管理日志，记录Spark程序运行结果，需要进行historyServer配置1、常规单节点配置第一步： cp spark-defaults.conf.template spark-defaults.conf 在文件里面添加如下内容： spark.eventLog.enabled true spark.eventLog.dir ...

高可用Spark集群配置HistoryServer

jin6872115的博客

04-24

689

为了方便管理日志，，记录spark程序运行结果，需要进行historyServer配置1、常规单节点配置第一步： mv spark-defaults.conf.template spark-defaults.conf 在文件里面添加如下内容： spark.eventLog.enabled true spark.eventLog.dir hdfs...

spark配置

03-08

### Apache Spark配置设置 #### 配置文件概述 Spark 的配置主要通过 `conf/spark-defaults.conf` 文件完成。此文件允许用户定义一系列键值对来调整 Spark 应用程序的行为[^1]。 #### 主要配置参数一些常用的配置...