Hadoop-配置历史服务器、日志聚集功能

最新推荐文章于 2024-07-10 09:27:44 发布
最新推荐文章于 2024-07-10 09:27:44 发布
阅读量973 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： hadoop 大数据 java 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_17623363/article/details/104112878
大数据 专栏收录该内容
21 篇文章 ¥49.90 ¥99.00
订阅专栏
本文介绍了如何配置Hadoop历史服务器，通过在hadoop102节点上修改mapred-site.xml和yarn-site.xml文件，启动相关服务，实现日志聚集，便于统一查看和问题排查。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如果没有配置的话，会无法进行查看历史

在这里插入图片描述
开启日志聚集功能后，会把所有的日志都聚集到一台机器上，方便了查看，出了问题，不用在去一台一台的查看日志了。

首先关闭三台虚拟机上的hadoop的任何节点

一、配置历史服务器

hadoop102

配置mapred-site.xml

[zhenghui@hadoop102 hadoop]$ 
[zhenghui@hadoop102 hadoop]$ vim mapred-site.xml
[zhenghui@hadoop102 hadoop]$

添加上：


                

                
                
        

    

    
  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        


    



                



	

		

			

				
					
Hadoop-完全分布式配置-集群配置

				
			

			

				

					TrueDei
				

				

					01-30
					
					1047
					
				

			

		

		

			
				
本文是根据尚硅谷的视频教学，然后加上自己理解总结的。
配置hdfs和yarn如下：

所有的配置文件都在/opt/module/hadoop-2.7.7/etc/hadoop目录下。
[root@hadoop102 hadoop]# 
[root@hadoop102 hadoop]# pwd
/opt/module/hadoop-2.7.7/etc/hadoop
[root@hadoop102 h...

			
		

	



                

            
              



	

		

			

				
					
hadoop--集群配置/群起集群

				
			

			

				

					FunnyPrince_的博客
				

				

					06-13
					
					826
					
				

			

		

		

			
				
集群配置
1.集群部署规划：
tips：
NameNode和SecondaryNameNode不要安装在同一台服务器；
ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上；

2.配置文件说明：
Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。
1).  默认配置文件：

2).  自定义配置文件：
core-site.xml、hdfs-site.xml、

			
		

	



              


  
              

                


	

		

			

				
					
hadoop 历史服务器、日志聚集

				
			

			

				

					sinat_17618381的博客
				

				

					06-07
					
					228
					
				

			

		

		

			
				
配置历史服务器
1.配置mapred-site.xml文件
[atguigu@hadoop101 hadoop]$ vi mapred-site.xml

在该文件里面增加如下配置  目前启动在SecondaryNameNode同一台服务器
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop103:10020</value&g

			
		

	





	

		

			

				
					
hadoop日志聚集功能配置

				
			

			

				

					Jackson_Father的博客
				

				

					01-13
					
					565
					
				

			

		

		

			
				
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。
配置yarn-site.xml
增加配置
<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -

			
		

	



		

			
		



	

		

			

				
					
Hadoop-10、历史服务器、日志聚集

				
			

			

				

					铁塔
				

				

					05-03
					
					241
					
				

			

		

		

			
				
在做配置部署的时候，只需要将装有NN和RM节点的虚拟机暂停即可。





设置hadoop104为历史服务器












点击History



			
		

	





	

		

			

				
					
Hadoop配置日志的聚集

				
			

			

				

					mischen520的博客
				

				

					07-31
					
					744
					
				

			

		

		

			
				
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

开启日志聚集功能具体步骤如下：

1.配置yarn-site.xm

vi yarn-site.xml

在该文件里面增加如下配置...

			
		

	





	

		

			

				
					
历史服务器、日志聚集、集群时间同步

				
			

			

				

					weixin_39868387的博客
				

				

					11-20
					
					236
					
				

			

		

		

			
				
[root@hadoop100 hadoop]# ssh hadoop102 "jps"
bash: jps: command not found

执行脚本变量
[root@hadoop100 hadoop]# ssh hadoop102 "source /etc/profile && jps"
11028 NodeManager
10588 SecondaryNameNode
...

			
		

	





	

		

			

				
					
Apache Hadoop之历史服务器&日志聚集配置

				
			

			

				

					ningkangming的博客
				

				

					07-10
					
					663
					
				

			

		

		

			
				
介绍了Apache Hadoop的分布式集群环境搭建，并测试了MapReduce分布式计算案例。但集群历史做了哪些任务，任务执行日志等信息还需要配置历史服务器和日志聚集才能更好的查看。

			
		

	





	

		

			

				
					
hadoop--日志聚集功能的配置

				
			

			

				

					FunnyPrince_的博客
				

				

					06-15
					
					627
					
				

			

		

		

			
				
配置日志的聚集
日志聚集概念：应用运行完成后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便地查看到程序运行详情，方便开发调试。
tips： 开启日志聚集功能，需要重新启动NodeManager、ResourceManager和HistoryServer。
步骤：
1).  配置yarn-site.xml：
[xiaobai@hadoop102 hadoop]$ vim yarn-site.xml

在该文件里增加如下配置：
         <!--开启日志聚集功能--&gt

			
		

	





	

		

			

				
					
Hadoop之配置历史服务器并开启日志聚集

				
			

			

				

					TomAndersen的博客
				

				

					02-26
					
					3107
					
				

			

		

		

			
				
Hadoop之配置历史服务器并开启日志聚集

1. 前言
Hadoop中设置任务历史服务器并开启日志聚集的必要性：一般情况下在YARN的Web UI中只能查看本次YARN运行期间执行的Application的首个Container的运行日志，即ApplicationMaster的运行日志（MR任务一般是分成多个task通过多个Container分别执行，这些Container分布在集群的任意主机上...

			
		

	





	

		

			

				
					
Hadoop配置历史服务器和日志聚集

				
			

			

				

					大数据学习
				

				

					03-05
					
					931
					
				

			

		

		

			
				
为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：
1.	配置mapred-site.xml
[atguigu@hadoop101 hadoop]$ vi mapred-site.xml
在该文件里面增加如下配置。
&amp;lt;!-- 历史服务器端地址 --&amp;gt;
&amp;lt;property&amp;gt;
&amp;lt;name&amp;gt;mapreduce.jobhistory.address&amp;

			
		

	





	

		

			

				
					
大数据系列教程006-开启日志聚合功能

				
			

			

				

					Java潘老师
				

				

					05-18
					
					330
					
				

			

		

		

			
				
Container日志是hadoop各个container记录的日志，其中会包含错误或失败的重要信息。如果没有打开日志聚合，默认是分布在各个nodemanager节点上的。如果打开了日志聚合选项，则会统一放在集中的位置（比如HDFS上）。Container日志会记录作业运行时会发生的各种运行时信息和错误，对于调试和调优有很大的帮助。







1.修改master的yarn-site.xml配置，新增：


			<property>

			<name>yarn.log-a..

			
		

	





	

		

			

				
					
hadoop--日志聚集功能

				
			

			

				

					weixin_46361294的博客
				

				

					02-28
					
					578
					
				

			

		

		

			
				
概念：应用程序运行完成之后，将程序运行日志信息上传到HDFS系统上；
好处：可以方便的查看到程序运行详情，方便开发调试；
注意：开启日志聚集功能，需要诚信启动NodeManager，ResourceManager和HistoryServer。
开启步骤：


配置yarn-site.xml，在文件中添加如下内容：

<!-- 开启日志聚集功能 -->
<property>
	<name>yarn.log-aggregation-enable</name>
	.

			
		

	





	

		

			

				
					
Hadoop 日志聚集功能

				
			

			

				

					sunwenxu的博客
				

				

					07-02
					
					717
					
				

			

		

		

			
				
日志聚集功能
当MapReduce程序在Yarn上运行过程中，产生一些日志文件，需要将这些日志文件收集上传HDFS,一遍后续监控查看
YARN：主节点和从节点
好处：
（1）中央化存储，集中存储方便管理
（2）可以减轻ResourceManager的负载压力
配置（etc/hadoop/yarn-site.xml)


...

			
		

	





	

		

			

				
					
yarn 日志聚集配置

				
			

			

				

					mark's technic world
				

				

					02-21
					
					9258
					
				

			

		

		

			
				
.    日志聚集相关配置参数

日志聚集是YARN提供的日志中央化管理功能，它能将运行完成的Container/任务日志上传到HDFS上，从而减轻NodeManager负载，且提供一个中央化存储和分析机制。默认情况下，Container/任务日志存在在各个NodeManager上，如果启用日志聚集功能需要额外的配置。

（1） yarn.log-aggregation-enable



			
		

	





	

		

			

				
					
hadoop配置日志的聚集

				
			

			

				

					weixin_44589713的博客
				

				

					09-12
					
					409
					
				

			

		

		

			
				
应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
开启日志聚集功能，需要重新启动NodeManager、ResourceManager和
HistoryManager。

开启日志聚集功能具体步骤如下：

1、配置yarn-site.xml
进入etc目录下
cd etc/hadoop/


vi yarn-site.xml

把下面内容配置到yarn-site.xml
<!--日志聚集功能使能-->
<property>
<name>yarn.log-aggr

			
		

	





	

		

			

				
					
hadoop日志聚合

				
			

			

				

					中国华的博客
				

				

					04-05
					
					1201
					
				

			

		

		

			
				
一、在yarn-site.xml文件中添加日志监控支持
该配置中添加下面的配置：
        <!-- 开启日志聚合 -->
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true&...

			
		

	





	

		

			

				
					
hadoop配置日志聚集

				
			

			

				

					曾经蜡笔没有小新
				

				

					06-19
					
					2264
					
				

			

		

		

			
				
日志聚集
应用运行完成以后，将程序的运行日志上传到HDFS系统上。
日志聚集功能的好处
可以方便的查看程序的运行详情，方便开发调试。


配置yarn-site文件



关闭NodeManager、ResourceManager、HistoryManager
./sbin/yarn-daemon.sh stop resourcemanager

./sbin/yarn-daemon.sh sto...

			
		

	





	

		

			

				
					
Hadoop基础-配置历史服务器

				
			

			

				

					weixin_33834137的博客
				

				

					08-13
					
					779
					
				

			

		

		

			
				
　　　　　　　　　　　　　　　　Hadoop基础-配置历史服务器
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰
版权声明：原创作品，谢绝转载！否则将追究法律责任。
 
 
　　 Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间...

			
		

	





	

		

			

				
					
hadoop 开了历史服务器后不开日子聚集

					
最新发布

				
			

			

				

					03-08
				

			

		

		

			
				
嗯，用户提到在Hadoop中开启了历史服务器，但日志聚集功能没有启动。我需要先理解这两个组件的功能以及它们之间的关系。历史服务器主要是用来查看已经完成的MapReduce作业的历史信息，而日志聚集功能则是将各个...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
手撕代码八百里

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值