Hadoop 笔记（五）配置历史服务器

配置Hadoop历史服务器与日志查看
最新推荐文章于 2024-10-31 10:28:30 发布
原创 最新推荐文章于 2024-10-31 10:28:30 发布 · 2.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #大数据 #yarn

本文详细介绍了如何配置Hadoop的历史服务器和日志服务器，以便查看任务运行历史和日志信息。通过编辑mapred-site.xml配置历史服务器，添加相关属性并启动JobHistoryServer。同时，配置yarn-site.xml以启用日志查看功能。完成配置后，可以在19888端口的Web界面中查看任务历史和日志，或者在本地logs目录检查日志文件。

之前的文章讲过 Hadoop 安装 和配置，并且运行 wordcount 程序。

本问主要配置历史服务器和日志服务器，用于查看程序运行的历史信息和日志信息。

配置历史服务器

历史服务器可以查看任务运行的历史。

  1. 配置 mapred-site.xml

在 etc/hadoop/mapred-site.xml 文件中添加下面这两个属性。

<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name
最低0.47元/天 解锁文章
大数据之-Hadoop伪分布式_配置历史服务器---大数据之hadoop工作笔记0027
添柴程序猿的专栏
03-23 433
上一节我们配置好了yarn,但是我们yarn的管理控制台点击,我们执行的MapReduce的任务的,history的时候,显示无法打开,现在我们来配置 历史服务器,让history可用,这样我们使用yarn执行了MapReduce程序,以后就可以查看这个MapReduce程序执行的具体的过程了. 上面的配置流程 可以看到配置前,我们通过yarn执行MapReduce程序以后,来到这个http://hadoop101:8088/cluster 虽然可以看到我们执行的程序,但是,点击右边的...
mr-jobhistory-daemon.sh 启动和关闭脚本
踏雪寻梅
04-01 2958
      通过web查看job的运行情况，当job运行完之后，就无法查看，这是由于集群的historyserver 进程没有启动。因此需要手动启动。     Hadoop启动jobhistoryserver来实现web查看作业的历史运行情况，由于在启动hdfs和Yarn进程之后，jobhistoryserver进程并没有启动，需要手动启动，启动的方法是通过：mr-jobhistory-daemo...
Hadoop配置历史服务器
weixin_47260194的博客
03-03 390
hadoop历史服务器配置
hadoop配置文件之mapred-site.xml
m0_37759590的博客
02-15 621
hadoop配置文件之mapred-site.xml
hadoop(二：hadoop3.3.0搭建，HDFS shell 命令，MapReduce程序）
m0_73905064的博客
07-12 2444
上传1.txt文件(里面是一些单词)到HDFS1.txt。
Hadoop之mapred-site.xml配置文件
清风自来
05-06 6979
下面介绍一下mapred-site.xml配置文件的配置过程： 增加mapreduce配置（使用yarn框架、jobhistory使用地址以及web地址） <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value&...
精选资源
Hadoop学习笔记
01-20
4. **启动历史服务器**：`sbin/mr-jobhistory-daemon.sh start historyserver`命令用于启动MapReduce作业的历史记录服务，可以查看已完成作业的信息。 **Hadoop集群的启动和操作**： - **格式化Namenode**：首次...
3.Hadoop学习笔记.pdf
01-31
YARN引入了资源管理器、节点管理器以及应用程序历史服务器等概念，使得在Hadoop上运行的计算框架不仅仅是MapReduce，也可以是其他框架，如Spark。 Hadoop的生态系统还包括Hive、HBase、Pig、Zookeeper等多种工具和...
hadoop_mapred-site.xml
最新发布
小太阳的代码之路
10-31 909
hadoop3.2.3的高可用集群mapred-site.xml配置实例。
Hadoop完全分布式集群搭建教程（三）
柒柒柒柒
11-19 1908
快速搭建Hadoop完全分布式搭建
Hadoop3.x完全分布式运行模式配置
数据攻城狮的博客
05-15 457
Hadoop3.x完全分布式运行模式配置
Hadoop生态圈（三十二）- MapReduce属性优化
程序园@大Null
02-10 1369
MapReduce基准测试，MapReduce Uber模式，MapReduce JVM重用，MapReduce重试机制，MapReduce推测执行，MapReduce开启小文件合并优化，MapReduce减少Shuffle的Spill和Merge，MapReduce开启Reduce端缓存，MapReduce MR Bench，MapReduce Load Gen
配置Hadoop集群+WordCount案例
qq_36074043的博客
12-15 679
配置Hadoop集群 配置环境变量 /etc/profile export HADOOP_HOME=/bigData/hadoop-2.8.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 8.配置hadoop-env.sh文件 1>  vim  hadoop-env.sh 2>  在文件中加入
hadoop配置 - 1.x mapred-site.xml 参数设定
Mrknowledge
10-09 3601
平台环境 CentOS 6.XJDK 1.7Hadoop 1.0.4 参照 mapred-default.xml JobTracker mapred.job.tracker 预设值 : local 说明 : 设定 jobtracker 的 hostname 及 port。预设是 local，表示所有的 job 会用 local job runner 来执行，而且只有一个 map
大数据Hadoop之——部署hadoop+hive+Mysql环境（window11）
qq_41946216的博客
10-17 7819
win环境下大数据Hadoop的部署hadoop+hive环境
hive 简简单单易如反掌
2301_81245072的博客
04-25 1702
1. 实验一：Linux操作系统环境设置实验环境 本实验所需之主要资源环境：资源环境 服务器集群 单节点，机器最低配置：双核 CPU、8GB 内存、100G 硬盘 运行环境 CentOS 7.4 服务和组件 服务和组件根据实验需求安装。
hadoop-mapreduce-yarn-配置-yarn高可用配置(HA)(学习)
m0_65385133的博客
03-17 1430
mapreduce(分布式计算)yarn(分布式调度)
hadoop-mapred-site.xml配置文件详解
xu2414506319的博客
10-17 4405
hadoop-mapred-site.xml配置文件详解 mapred-site.xml配置文件简介 MapReduce配置相关 mapred-site.xml配置 name value description mapreduce.jobtracker.jobhistory.location If job tracker is static the history files are stored in this single well known place. If No val
hadoop配置文件mapred-site.xml
热门推荐
w182368851的博客
12-17 1万+
Licensed under the Apache License, Version 2.0 (the "License");   you may not use this file except in compliance with the License.   You may obtain a copy of the License at     http://www.apache.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值