hadoop历史服务配置，启动日志聚集功能

最新推荐文章于 2025-05-07 15:09:56 发布
原创 最新推荐文章于 2025-05-07 15:09:56 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

本文介绍如何在8088端口配置MapReduce历史服务，以查看已结束任务的历史信息，包括MapTask与ReduceTask详情。同时，阐述了在Yarn上运行MapReduce程序时的日志聚集功能，确保日志文件能上传至HDFS进行集中管理，从而减轻ResourceManager负载并便于后续监控。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

历史服务配置

       需求：在8088端口上，对已经结束的任务，无法查看历史信息（19888）

       历史信息记录：有几个Map Task，有几个Reduce task,任务什么时候提交了，什么启动，什么时候完成。

mapred-site.xml

 

启动 历史服务

sbin/mr-jobhistory-daemon.sh start historyserver

日志聚集功能

当MapReduce程序在Yarn上运行过程中，产生一些日志文件，需要将这些日志文件收集上传HDFS,一遍后续监控查看

YARN：主节点和从节点

好处：

（1）中央化存储，集中存储方便管理

（2）可以减轻ResourceManager的负载压力

yarn-site.xml.

 注意：必须重启Yarn和JobHistoryServer服务才生效，需要重新读取配置文件

hadoop和spark开启日志
12-16 1058
# 开启日志 [root@bigdata04 neo4j-community-3.5.21]# cd /data/soft/spark-2.4.3-bin-hadoop2.7 [root@bigdata04 spark-2.4.3-bin-hadoop2.7]# sbin/start-history-server.sh [root@bigdata01 hadoop-3.2.0]# history | grep mapred 59 vi mapred-site.xml 63
Hadoop-配置历史服务器、日志聚集功能
TrueDei
01-30 975
如果没有配置的话，会无法进行查看历史 开启日志聚集功能后，会把所有的日志都聚集到一台机器上，方便了查看，出了问题，不用在去一台一台的查看日志了。 首先关闭三台虚拟机上的hadoop的任何节点 一、配置历史服务器 hadoop102 配置mapred-site.xml [zhenghui@hadoop102 hadoop]$ [zhenghui@hadoop102 hadoop]$ vim ma...
Hadoop配置历史服务器及日志聚合
一笑奈何
07-02 1382
        历史服务器 作用：查看我们已经完成的任务历史记录，日志记录。 配置文件：mapred-site.xml --》指定历史服务器所在位置及端口号     <property>         <name>mapreduce.jobhistory.address</name>         <value>bdqn.lin...
Hadoop---日志服务器
diyingshou8608的博客
06-01 300
　　　　　Hadoop---日志服务器 　1.历史服务器： 　　　 　　启动： 　　　　　 　　　　1）测试使用： 　　　　　　1.做一个任务： 　　　　　　　 　　　　　2.接受任务： 　　　　　　　 　　　　　3.执行任务：　 　　　　　　　 　　　　4.执行任务完成： 　　　　　　　 　　　2）日志文件产生：　 　　　　　　成功后： 　　　　　...
配置Hadoop集群-配置历史和日志服务
最新发布
2401_83719742的博客
05-07 590
比较多，在启动的时候，还要分别进入不同的服务器写不同的命令，比较麻烦。echo " =================== 启动 hadoop集群 ==================="echo " =================== 关闭 hadoop集群 ==================="我们配置了多台服务器，并且每台服务器上运行的任务都不太相同，我们可以使用jps命令来查看每台设备上的运行任务。请注意，你在配置的时候指定哪个节点是历史服务器，就在哪里启动，请不要搞错了。
Hadoop学习-配置日志聚集服务、hadoop服务一键启动脚本
HaveAGoodDay428的博客
02-21 375
hadoop学习，一键启动脚本，配置服务
hadoop集群优化(三)：开启日志汇聚服务
幻神舞的专栏
06-11 863
hadoop日志汇聚
Apache Hadoop之历史服务器&日志聚集配置
ningkangming的博客
07-10 664
介绍了Apache Hadoop的分布式集群环境搭建，并测试了MapReduce分布式计算案例。但集群历史做了哪些任务，任务执行日志等信息还需要配置历史服务器和日志聚集才能更好的查看。
Hadoop历史服务器配置以及日志管理
破碎琉璃为哪般
11-27 223
前言： 先说一下配历史服务器的作用 可以帮助我们查看hdfs后hue上的日志，更好的分析和解决问题 先在Hadoop的配置文件mapred-site.xml中添加下面内容： <property> <name>mapreduce.jobhistory.address</name> <value>node01:10020</value> ...
大数据——配置并启动集群/开启历史服务器和日志聚集
JavaMBa的博客
11-16 1595
这篇文章对Hadoop进行配置，修改配置文件，启动并测试集群。开去历史服务器以及日志聚集。 部署规划# hadoop102 hadoop103 hadoop104 HDFS NameNode、DataNode DataNode SencondNameNode、DataNode YARN NodeManager ResourceManager、NodeManager NodeManager NameNode和SecondNameNode不
Hadoop配置日志的聚集——jobhistory不显示任务问题
Aurora__213的博客
03-06 983
到这里都没有错，找了半天发现是前面配置的mapred-site.xml出错了，就是如果设置日志聚集的话，前面配置的mapred-site也需要修改一下配置。一开始job history是正常的，配置了日志的聚集以后不管做什么任务都不显示任务，hdfs是正常运行，而且根据配置步骤都重启过了。这样就改好了，出现类似问题的话，大部分就是mapred-site和yarn-site这两个文件没有配置好，就可以多检查几遍看看。修改以后在分发一下，重新启动就好了，运行命令也有记录了。1.配置yarn-site.xml。
在 Hadoop 集群中启用历史服务和日志管理
2301_79748596的博客
12-19 1011
mapreduce.history.server.address: MapReduce 历史日志服务器的地址，通常设置为主节点的 IP 地址和端口号。mapreduce.jobhistory.done-dir: 存储已完成的 MapReduce 作业日志的 HDFS 目录路径。MapReduce 作业历史日志：配置 mapred-site.xml 来指定历史日志存储路径，并设置 HDFS 目录的权限。YARN 日志：配置 yarn-site.xml 来指定 YARN 日志的存储路径，并启用日志聚合功能。
hadoop 中配置历史服务 日志聚集
qq_43192537的博客
09-20 553
hadoop中配置历史服务,日志聚集 配置历史服务 1. 进入到配置文件目录下,配置mapred-site.xml #我的配置目录全路径/opt/moudles/hadoop-2.9.2/etc/hadoop ubuntu@ubuntu01:/opt/moudles/hadoop-2.9.2/etc/hadoop$ vim mapred-site.xml 2.其中添加 <!---将19...
hadoop_2分布式搭建及日志、历史服务搭建
qq_14919937的博客
08-26 699
hadoop运行模式hadoop运行模式1 本地模式2 分布式搭建3 集群测试 目标： 1 本地模式 2 分布式搭建 3 集群测试 hadoop运行模式 1 本地模式 1 hadoop官网运行测试 mkdir input $ cp etc/hadoop/*.xml input [atguigu@localhost hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep inpu
hadoop入门（九）：日志聚集功能配置
全栈川川
08-28 1014
hadoop日志聚集功能配置
二十八、历史服务配置启动查看
基督山伯爵的博客
10-13 784
1、配置mapred-site.xml [admin@hadoop13 hadoop]$ cd /opt/module/hadoop-2.7.2/etc/hadoop [admin@hadoop13 hadoop]$ mv mapred-site.xml.template mapred-site.xml [admin@hadoop13 hadoop]$ vim mapred-site.xml ...
Hadoop伪分布式部署之历史服务与日志聚集
潇山远
04-12 519
前言 在做完 Hadoop伪分布式部署之hdfs和Hadoop伪分布式部署之yarn和mapreduce之后，我们来做一下历史服务和日志聚集的部署。 相关环境如下： 操作系统：CentOS6.4 Java版本：Oracle jdk1.7 Hadoop版本：Hadoop2.5.0 主机hostname：hadoop01.datacenter.com hadoop目录：/opt...
Hadoop之配置历史服务器并开启日志聚集
TomAndersen的博客
02-26 3111
Hadoop之配置历史服务器并开启日志聚集 1. 前言 Hadoop中设置任务历史服务器并开启日志聚集的必要性：一般情况下在YARN的Web UI中只能查看本次YARN运行期间执行的Application的首个Container的运行日志，即ApplicationMaster的运行日志（MR任务一般是分成多个task通过多个Container分别执行，这些Container分布在集群的任意主机上...
hadoop集群优化(四)：开启历史任务服务器
幻神舞的专栏
06-18 833
开启任务服务可增强对任务执行状态的查验，配合日志汇聚服务，加快任务的查看和异常追踪。系统学习是一个缓慢的量变引发质变的过程，加油加油。
hadoop 开了历史服务器后不开日子聚集
03-08
</think>### Hadoop历史服务器启动后日志聚集功能未启动的解决方案 #### 一、检查日志聚集功能配置 1. **验证yarn-site.xml配置** 在`yarn-site.xml`中必须包含以下关键配置项： ```xml <!-- 启用日志聚合 --> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无名一小卒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值