bertzhang的专栏

翻译自Facebook Hadoop架构师(Dhruba Borthakur)的一篇文章  我们遇到的情况 Hadoop NameNode存在单点问题。这个问题会影响分布式平台24*7运行。先说说我们的情况吧。  我们的团队负责管理一个1200节点的集群(总大小12PB)，目前是运行版本为Hadoop 0.20，transaction logs写入一个共享的NFS filer(注：Net

一、edits和fsimage      首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。 集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。 当名称节点（NameNode）启动时，会从镜像文件 fsimage 中读取HDFS的状态，并且把edits文件中记录的操作应用到fsimage，也就是合并到fsimage中

hadoop 0.23采用了maven工具进行编译，具体的编译过程如下： 1、安装protocolbuffer2.4.1 如果ubuntu系统已经安装了protocolbuffer，则需要首先remove掉，执行下面的命令： sudo apt-get autoremove libprotoc6 然后从下面地址获取protocolbuffer2.4.1 http://code.goog

http://www.slideshare.net/hortonworks/hs-2011-submission87hwfinal http://www.slideshare.net/hortonworks/nextgen-apache-hadoop-mapreduce

原文：http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html 目的     这个文档从比较高的层面上描述了如何编写一个YARN应用 概念和流程     首先说的概念是“Application Submission Client”他负责将“Ap

1、将BackupNode和BackupStorage加入0.20.2 2、将org.apache.hadoop.hdfs.DFSConfigKeys加入0.20.2 3、将CheckPointer加入 4、org.apache.hadoop.hdfs.server.common.HDFSConstants.java 增加NamenodeRole 5、为Namenode增加NameNode

1、backupnode启动后，在初始化阶段完成握手和注册，其中在握手阶段handShake，检测storage的版本是否一致，同时建立到namenode的RPC句柄，保存在成员变量namenode当中，registerWith通过RPC调用Namenode的register，完成backupnode信息在namenode上的注册，同时完成在FSNamesystem和FSEditLog上的检查，如