hadoop 日志管理

最新推荐文章于 2024-10-31 14:00:02 发布

努力就是魅力

最新推荐文章于 2024-10-31 14:00:02 发布

阅读量513

点赞数

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/nulijiushimeili/article/details/79309980

版权

hadoop 专栏收录该内容

18 篇文章

订阅专栏

本文介绍了Hadoop日志的管理和SecondaryNameNode的作用。日志主要存放在hadoop-2.5.0/logs目录下，通过.log文件查看错误定位。SecondaryNameNode用于合并fsimage和edits文件，优化namenode启动时间。配置SecondaryNameNode需要在hdfs-site.xml设置 dfs.namenode.secondary.http-address，并通过`sbin/hadoop-daemon.sh start secondarynamenode`启动，访问地址为主机名或IP加端口50090。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Hadoop日志
1.在环境搭建好后，会生成日志在hadoop-2.5.0/logs目录下
2.只查看以.log结尾的文件
3.只有看日志才能准确定位错误
二、SecondaryNameNode
1.格式化namenode会生成元数据文件，系统会有一个根目录
2.元数据放在namenode内存中（启动以后）
3.namenode在启动之前，元数据同样会在本地的文件系统中
4.fsimage元数据镜像文件》存储元数据》namenode在启动的时候会读取它
5.用户对于HDFS文件系统的任何行为操作都会导致元数据发生变化》内存肯定知道
6.对于HDFS用户行为操作的记录都会卸载一个文件中，编辑在文件edits文件里
7.namenode主节点启动以后会先读取fsimage文件，再去读取edits文件
8.一般工作中namenode一般会一直保持在工作状态，不会轻易的重启或者关闭
9.用户对HDFS操作的次数越多，edits文件就会越大，导致读取时间过长
10.SecondaryNameNode可以解决这个问题
通过合并fismage和edits文件，缩短namenode的启动时间
11.配置SecondartNameNode
在hadoop-2.5.0/etc/hadoop/目录下配置hdfs-site.xml文件
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>bigdata-senior.ibeifeng.com:50090</value>
</property>
12.启动
sbin/hadoop-daemon.sh start secondarynamenode
13.访问
http://bigdata-senior.ibeifeng.com:50090（主机名+端口号50090）
192.168.192.100:50090（ip地址+端口号也是可以访问的）