spark 开启历史日志监控

最新推荐文章于 2024-06-19 17:33:51 发布
最新推荐文章于 2024-06-19 17:33:51 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xjping0794/article/details/78141531
版权
本文介绍如何通过配置vispark-defaults.conf文件和vispark-env.sh脚本来启用Spark历史服务器，包括设置事件日志记录、压缩选项及历史服务器端口等参数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

vi spark-defaults.conf
spark.eventLog.enabled  true
spark.eventLog.dir      hdfs://webcluster/directory
spark.eventLog.compress true
vi spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=7777 -Dspark.history.retainedApplications=10 -Dspark.history.fs.logDirectory=hdfs://webcluster/directory"

启动 start-history-server.sh

./spark-sql执行相关sql:

针对thrift server必须重启后生效.

Spark eventlog 、Event、SparkListener
zhixingheyi_tian的博客
03-12 411
【代码】Spark eventlog。
SparkStreaming的应用：实时监控
AI天才研究院
01-31 200
1.背景介绍 SparkStreaming的应用：实时监控 作者：禅与计算机程序设计艺术 背景介绍 大数据处理技术的演变 在过去的几年中，随着互联网和物联网等领域的快速发展，越来
Spark程序监控
pofengliuming的专栏
11-03 7034
4040端口可以在浏览器中打开http://:4040网址，网址显示的信息： 任务和调度状态的列表 RDD大小和内存使用的统计信息 正在运行的executor的信息 环境信息 如果在同一台机器上有多个SparkContext正在运行，那么他们的端口从4040开始依次增加（4041，4042等）。在应用程序运行期间，你可以在这个Web页面获得Spark实时监控信息，如果希望在程序运行完以后查
开启spark日志聚集功能
weixin_34388207的博客
05-26 345
spark监控应用方式： 1)在运行过程中可以通过web Ui:4040端口进行监控 2)任务运行完成想要监控spark，需要启动日志聚集功能 开启日志聚集功能方法： 编辑conf/spark-env.sh文件，在其中加入如下部分： SPARK_HISTORY_OPTS=-Dspark.history.provider=org.apache.spark.deploy.history.Fs...
（8）Spark 2.0.0 查看job 历史日志
王培晓Carpenter
12-13 4794
引言 启动Spark历史日志 1 安装Spark 2 修改配置文件spark-defaultsconf 3 修改配置文件spark-envsh 4 创建日志目录 5 启动spark历史日志web端 6 浏览器查看是否启动成功1.引言      在使用Spark的时候，有时候我们会关注job的历史日志，但是在Spark中默认情况下，历史日志是关闭的，在本篇博客中主要介绍一下如何启动spark的历史日志
《Spark 官方文档》监控和工具
SadOnMyOwn的博客
04-28 1743
《Spark 官方文档》监控和工具
spark 历史和实时任务日志监控
keyuquan的博客
02-01 3114
一.spark on yarn historyserver（运行完毕日志）   1.配置yarn日志参数:yarn-site.xml       yarn.log-aggregation-enable     true         yarn.log.server.url     http://hadoop-senior01.ibeifeng.com:1988
Hadoop 3和Spark 3配置日志聚合，实现客户端电脑查看Hadoop和Spark历史任务日志
ByteHackerX的博客
08-29 161
在实际应用中，我们通常需要对任务的执行情况进行监控和调试，而查看任务的历史日志是一个非常有效的方式。本文将介绍如何配置Hadoop 3和Spark 3以实现日志聚合，并通过客户端电脑的YARN页面跳转来查看任务的历史日志。至此，我们完成了Hadoop 3和Spark 3的日志聚合配置，并通过客户端电脑的YARN页面跳转来查看Hadoop和Spark的历史任务日志。Hadoop 3和Spark 3配置日志聚合，实现客户端电脑查看Hadoop和Spark历史任务日志。一、配置Hadoop 3日志聚合。
SparkCore：History-Server/监控，查看程序历史运行日志
11号车厢
08-04 1078
文章目录1、History-Server介绍2、History-Server配置3、验证4、History-Server参数5、REST API 官网：Monitoring and Instrumentation http://spark.apache.org/docs/2.4.2/monitoring.html 1、History-Server介绍 当你执行spark-shell --maste...
7.Spark历史服务器配置及ha机制
GCPOP的博客
06-17 627
1) 修改spark-defaults.conf.template文件名为spark-defaults.conf 2) 修改spark-default.conf文件，配置日志存储路径 注意：需要启动hadoop集群，HDFS上的directory目录需要提前存在。 3) 修改spark-env.sh文件, 添加日志配置 参数1含义：WEB UI访问的端口号为18080 参数2含义：指定历史服务器日志存储路径 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应
【Spark】Spark Application 监控，HistoryServer历史服务器配置使用
晚风中的自由
11-23 881
一、增加配置 1、spark-1.3.0-bin-2.5.0-cdh5.3.6/conf 目录下spark-env.sh文件修改； 设置log文件放在 hdfs目录/user/spark/eventlogs SPARK_HISTORY_OPTS=-Dspark.history.fs.logDirectory=hdfs://hadoop-senior.ibeifeng.com:8020...
spark-alarm:Apache Spark 的警报和监控工具
05-31
Spark-Alarm 项目简介 提供一些基本的报警手段，并可以通过SparkListener实现对Spark内部执行逻辑进行监控报警 报警模式 使用限制 简介 邮件 通用，无限制 通过 SMTP 协议发送告警 哨兵 网易内部使用 通过 HTTP 协议发送告警 Smilodon 网易内部使用 通过 HTTP 协议发送告警 使用方法 编译 # 克隆本项目 git https://github.com/yaooqinn/spark-alarm.git # cd spark-alarm # mvn clean package 可以得到内置示例项目jar包：streaming-alarmer/target/streaming-alarmer-1.0-SNAPSHOT.jar，该构件实现了对Streaming程序"异常退出"和""任务堆积"等相关关键事件进行简单的告警服务 配置 配置工作分为三个过
基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码
08-01
基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码，博客链接： https://blog.youkuaiyun.com/linge1995/article/details/81326146
探索Sparklint：实时监控与调试Apache Spark的最佳伙伴
gitblog_00079的博客
04-27 368
探索Sparklint：实时监控与调试Apache Spark的最佳伙伴 sparklint A tool for monitoring and tuning Spark jobs for efficiency. 项目地址: https://gitcode.com...
实时监控
wutianfeng2017的博客
04-19 345
1.获取台站信息getStationList:function(){    //获取站台数据状态列表信息    var data = {};data.tableName = "sys_station";data.userid = guyu.getUserID();data.apiParams = {};data.apiParams.listType='all';    guyu.ajaxReque...
Spark监控数据获取工具类
weixin_45125151的博客
04-28 250
package com.air.antispider.stream.common.util.spark import com.alibaba.fastjson.JSON /** Spark监控数据获取工具类 */ object SparkMetricsUtils { /** 获取监控页面信息 */ @throws(classOf[java.io.IOException]) @throws...
《Spark官方文档》监控和工具-学习笔记
TRX的博客
03-10 2338
官网链接：Monitoring and Instrumentation - Spark 3.2.1 Documentation 有几种方法可以监控Spark应用程序：Web UI、metrics 以及外部工具。 Web UI 每个SparkContext都会启动一个web UI，其默认端口为4040，并且这个web UI能展示很多有用的Spark应用相关信息。包括： 一个stage和task的调度列表 一个关于RDD大小以及内存占用的概览 运行环境相关信息 运行中的执行器相关信息 你只需打
Spark：从0实现30s内实时监控指标计算
最新发布
CatchLight的博客
06-19 1009
说起Spark，大家就会自然而然地想到Flink，而且会不自觉地将这两种主流的大数据实时处理技术进行比较。然后最终得出结论：Flink实时性大于Spark。的确，Flink中的数据计算是以事件为驱动的，所以来一条数据就会触发一次计算，而Spark基于数据集RDD计算，RDD最小生成间隔就是50毫秒，所以Spark就被定义为亚实时计算。本篇文章主要是利用Spark的滑动窗口，做了一个计算平均响应时长的应用场景，以Kafka作为数据源、通过滑动窗口和reduceByKey算子得以实现。
告别付费软件，这款开源的跨平台多功能远程控制和监控工具足够用了！
Java笔记虾
06-09 850
今天要给大家推荐一个开源项目：XZB-1248/Spark该项目在 GitHub 有 700+的Star，用一句话介绍该项目就是：“Spark是一个 Go 编写的，网页UI、跨平台以及多功能的远程控制和监控工具，你可以随时随地监控和控制所有设备。”。以下是 Spark 项目的部分使用页面。1、设备列表及操作列表2、登录机器 Shell 执行命令3、桌面远程访问4、远程设备的进程管理5、远程设备文...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值