Hadoop故障分析

caiandyong

于 2015-03-24 23:56:55 发布

阅读量847

点赞数

分类专栏： hadoop 文章标签： Hadoop故障分析故障分析

本文链接：https://blog.youkuaiyun.com/caiandyong/article/details/44604101

版权

本文聚焦于Hadoop故障分析，详细介绍了如何通过调小数据块的大小和提升NameNode日志级别来排查问题。同时，强调了fsimage在集群中的关键地位，讨论了SecondaryNameNode的角色，并给出了应对NameNode进程致命故障的策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

调小数据块的大小，并提升NameNode的日志级别

具体操作为在hdfs-site.xml中添加如下属性设置：

   <property>
        <name>dfs.block.size</name>
        <value>1048576</value>
    </property>


<property>
        <name>dfs.namenode.logging.level</name>
        <value>all</value>
    </property>
</configuration>

执行start-all.sh，会重启死亡节点，对活跃节点不会产生任何影响。

默认情况下，DataNode为每512字节生成一个校验和。

两个文件的MD5校验：$md5sum file.*
md5sum testfile*pdf(假设存在两个文件，名字分别为testfile.pdf和testfile1.pdf)
caiyong@caiyong:~/桌面$ md5sum testfile*pdf
be27b6cb132612d249141a67084dfba6 testfile1.pdf
be27b6cb132612d249141a67084dfba6 testfile.pdf
校验发现两个文件校验码完全一样，说