hadoop历史服务配置，启动日志聚集功能

最新推荐文章于 2024-12-19 14:00:07 发布
最新推荐文章于 2024-12-19 14:00:07 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/h1025372645/article/details/94481405
本文介绍如何在8088端口配置MapReduce历史服务，以查看已结束任务的历史信息，包括MapTask与ReduceTask详情。同时，阐述了在Yarn上运行MapReduce程序时的日志聚集功能，确保日志文件能上传至HDFS进行集中管理，从而减轻ResourceManager负载并便于后续监控。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

历史服务配置

       需求：在8088端口上，对已经结束的任务，无法查看历史信息（19888）

       历史信息记录：有几个Map Task，有几个Reduce task,任务什么时候提交了，什么启动，什么时候完成。

mapred-site.xml

 

启动 历史服务

sbin/mr-jobhistory-daemon.sh start historyserver

日志聚集功能

当MapReduce程序在Yarn上运行过程中，产生一些日志文件，需要将这些日志文件收集上传HDFS,一遍后续监控查看

YARN：主节点和从节点

好处：

（1）中央化存储，集中存储方便管理

（2）可以减轻ResourceManager的负载压力

yarn-site.xml.

 注意：必须重启Yarn和JobHistoryServer服务才生效，需要重新读取配置文件

hadoop和spark开启日志
12-16 1059
# 开启日志 [root@bigdata04 neo4j-community-3.5.21]# cd /data/soft/spark-2.4.3-bin-hadoop2.7 [root@bigdata04 spark-2.4.3-bin-hadoop2.7]# sbin/start-history-server.sh [root@bigdata01 hadoop-3.2.0]# history | grep mapred 59 vi mapred-site.xml 63
Hadoop-配置历史服务器、日志聚集功能
TrueDei
01-30 979
如果没有配置的话，会无法进行查看历史 开启日志聚集功能后，会把所有的日志都聚集到一台机器上，方便了查看，出了问题，不用在去一台一台的查看日志了。 首先关闭三台虚拟机上的hadoop的任何节点 一、配置历史服务器 hadoop102 配置mapred-site.xml [zhenghui@hadoop102 hadoop]$ [zhenghui@hadoop102 hadoop]$ vim ma...
Hadoop配置历史服务器及日志聚合
一笑奈何
07-02 1382
        历史服务器 作用：查看我们已经完成的任务历史记录，日志记录。 配置文件：mapred-site.xml --》指定历史服务器所在位置及端口号     <property>         <name>mapreduce.jobhistory.address</name>         <value>bdqn.lin...
Hadoop---日志服务器
diyingshou8608的博客
06-01 302
　　　　　Hadoop---日志服务器 　1.历史服务器： 　　　 　　启动： 　　　　　 　　　　1）测试使用： 　　　　　　1.做一个任务： 　　　　　　　 　　　　　2.接受任务： 　　　　　　　 　　　　　3.执行任务：　 　　　　　　　 　　　　4.执行任务完成： 　　　　　　　 　　　2）日志文件产生：　 　　　　　　成功后： 　　　　　...
Hadoop学习-配置日志聚集服务、hadoop服务一键启动脚本
HaveAGoodDay428的博客
02-21 377
hadoop学习，一键启动脚本，配置服务
hadoop集群优化(三)：开启日志汇聚服务
幻神舞的专栏
06-11 864
hadoop日志汇聚
Apache Hadoop之历史服务器&日志聚集配置
ningkangming的博客
07-10 672
介绍了Apache Hadoop的分布式集群环境搭建，并测试了MapReduce分布式计算案例。但集群历史做了哪些任务，任务执行日志等信息还需要配置历史服务器和日志聚集才能更好的查看。
Hadoop历史服务器配置以及日志管理
破碎琉璃为哪般
11-27 223
前言： 先说一下配历史服务器的作用 可以帮助我们查看hdfs后hue上的日志，更好的分析和解决问题 先在Hadoop的配置文件mapred-site.xml中添加下面内容： <property> <name>mapreduce.jobhistory.address</name> <value>node01:10020</value> ...
大数据——配置并启动集群/开启历史服务器和日志聚集
JavaMBa的博客
11-16 1596
这篇文章对Hadoop进行配置，修改配置文件，启动并测试集群。开去历史服务器以及日志聚集。 部署规划# hadoop102 hadoop103 hadoop104 HDFS NameNode、DataNode DataNode SencondNameNode、DataNode YARN NodeManager ResourceManager、NodeManager NodeManager NameNode和SecondNameNode不
Hadoop配置日志的聚集——jobhistory不显示任务问题
Aurora__213的博客
03-06 989
到这里都没有错，找了半天发现是前面配置的mapred-site.xml出错了，就是如果设置日志聚集的话，前面配置的mapred-site也需要修改一下配置。一开始job history是正常的，配置了日志的聚集以后不管做什么任务都不显示任务，hdfs是正常运行，而且根据配置步骤都重启过了。这样就改好了，出现类似问题的话，大部分就是mapred-site和yarn-site这两个文件没有配置好，就可以多检查几遍看看。修改以后在分发一下，重新启动就好了，运行命令也有记录了。1.配置yarn-site.xml。
在 Hadoop 集群中启用历史服务和日志管理
最新发布
2301_79748596的博客
12-19 1015
mapreduce.history.server.address: MapReduce 历史日志服务器的地址，通常设置为主节点的 IP 地址和端口号。mapreduce.jobhistory.done-dir: 存储已完成的 MapReduce 作业日志的 HDFS 目录路径。MapReduce 作业历史日志：配置 mapred-site.xml 来指定历史日志存储路径，并设置 HDFS 目录的权限。YARN 日志：配置 yarn-site.xml 来指定 YARN 日志的存储路径，并启用日志聚合功能。
hadoop 中配置历史服务 日志聚集
qq_43192537的博客
09-20 557
hadoop中配置历史服务,日志聚集 配置历史服务 1. 进入到配置文件目录下,配置mapred-site.xml #我的配置目录全路径/opt/moudles/hadoop-2.9.2/etc/hadoop ubuntu@ubuntu01:/opt/moudles/hadoop-2.9.2/etc/hadoop$ vim mapred-site.xml 2.其中添加 <!---将19...
hadoop_2分布式搭建及日志、历史服务搭建
qq_14919937的博客
08-26 705
hadoop运行模式hadoop运行模式1 本地模式2 分布式搭建3 集群测试 目标： 1 本地模式 2 分布式搭建 3 集群测试 hadoop运行模式 1 本地模式 1 hadoop官网运行测试 mkdir input $ cp etc/hadoop/*.xml input [atguigu@localhost hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep inpu
hadoop入门（九）：日志聚集功能配置
全栈川川
08-28 1021
hadoop日志聚集功能配置
二十八、历史服务配置启动查看
基督山伯爵的博客
10-13 785
1、配置mapred-site.xml [admin@hadoop13 hadoop]$ cd /opt/module/hadoop-2.7.2/etc/hadoop [admin@hadoop13 hadoop]$ mv mapred-site.xml.template mapred-site.xml [admin@hadoop13 hadoop]$ vim mapred-site.xml ...
Hadoop伪分布式部署之历史服务与日志聚集
潇山远
04-12 521
前言 在做完 Hadoop伪分布式部署之hdfs和Hadoop伪分布式部署之yarn和mapreduce之后，我们来做一下历史服务和日志聚集的部署。 相关环境如下： 操作系统：CentOS6.4 Java版本：Oracle jdk1.7 Hadoop版本：Hadoop2.5.0 主机hostname：hadoop01.datacenter.com hadoop目录：/opt...
Hadoop之配置历史服务器并开启日志聚集
TomAndersen的博客
02-26 3115
Hadoop之配置历史服务器并开启日志聚集 1. 前言 Hadoop中设置任务历史服务器并开启日志聚集的必要性：一般情况下在YARN的Web UI中只能查看本次YARN运行期间执行的Application的首个Container的运行日志，即ApplicationMaster的运行日志（MR任务一般是分成多个task通过多个Container分别执行，这些Container分布在集群的任意主机上...
hadoop集群优化(四)：开启历史任务服务器
幻神舞的专栏
06-18 835
开启任务服务可增强对任务执行状态的查验，配合日志汇聚服务，加快任务的查看和异常追踪。系统学习是一个缓慢的量变引发质变的过程，加油加油。
Hadoop配置日志的聚集
mischen520的博客
07-31 745
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。 日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。 注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。 开启日志聚集功能具体步骤如下： 1.配置yarn-site.xm vi yarn-site.xml 在该文件里面增加如下配置...
Hadoop HA集群配置与启动指南
Hadoop HA集群的启动涉及多步骤的配置和初始化，包括JournalNode的启动、NameNode的格式化和ZooKeeper中的状态注册。这些步骤都是为了确保在任何NameNode或ResourceManager故障情况下，集群能无缝切换并持续提供服务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无名一小卒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值