李战磊专栏

测试环境centos 6.3  32位机器。1，安装lzop native libraries使用在线yum安装或者下载后rpm安装，我试验中发现sudo yum install lzop lzo2 发现不了想用的包 ，应该是没配置好yum源。http://www.oberhumer.com/opensource/lzo/download/  注意自己机器的位数，根据包的说明选择相应的

1、下载hadoop-1.0.4.tar.gz包，我解压到了/usr/local/hadoop-1.0.42、Eclipse中创建Project, File->new->Project->Java Project，选择项目的位置为Hadoop的根目录hadoop-1.0.4,单击Finish按钮，就完成了Eclipse项目的创建注意：Project根会出现一个！,是hadoop中的ANT_

Hadoop中的RPC实现——客户端通信组件

一、RPC.对Client的管理Client缓存在RPC中并且以SocketFacoty作为key。Connection使用ConnectionId作为标识并缓存在Client中。ConnectionId含有远端地址，协议，用户票据(本文未考虑)信息。也就是说，同一个用户会使用同一个协议向同一远端发送多个Call会使用同一条连接。那么看来Connection有必要保存一个Call的列表了（addCall ,cleanupcalls），有必要建立连接了(setupIostreams)，要有个方法发送参数se

说明：nio理论及例子，了解nio的可以跳过本文看hadoop的rpc实现，建议新手看看

从hadoop的源码中剥离出了ipc，去掉了安全验证等代码，想了解hadoop的rpc的可以看下打印输出，如果想详细了解，做好debug运行试试。代码见：http://download.youkuaiyun.com/detail/lzlchangqi/8182999下面简单地列出打印日志，后面文章会结合NIO详细介绍有关代码及流程,

本文是参考HDFS分布式文件系统的深度实践和北风网视频后的总结，以后学习的参考。 一、现在我们看一下CentOS5.6（32）的设置流程1，首先将虚拟机的网卡设置为host-only，   物理机器的虚拟网卡VMnet1的IP设置为192.168.1.1，以后建立的虚拟集群都在这个网段2，启动系统，进入root用户3，CentOS刚安装完毕，要进行初始化设置，使得一些基本命

来源：http://blog.youkuaiyun.com/xhh198781/article/details/7268298 来源：http://weixiaolu.iteye.com/blog/1504898 源码级强力分析hadoop的RPC机制        在Client中，因为与服务器的每一次连接不仅会产生网络延迟，而且也会占用大量的系统资源，所以在Client内部设计了一个连接池

前面涉及了namenode中的相关类，下面转载一下存储结构NameNode中几个关键的数据结构1、FSImageNamenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中，每次保存fsimage之后到下次保存之间的所有hdfs操作，将会记录在editlog文件中，当editlog达到一定的大小（bytes，由fs.checkpoint.size参数定义）或从

来源 http://blog.youkuaiyun.com/shirdrn/article/details/4631518这里对与org.apache.hadoop.hdfs.server.namenode.FSDirectory类相关的类进行阅读分析。INodeDirectoryWithQuota类 该类org.apache.hadoop.hdfs.server.namenode.INo

参考http://blog.youkuaiyun.com/shirdrn/article/details/4610578我们已经分析了org.apache.hadoop.hdfs.server.namenode.Namenode类的实现，而且知道，一个Namenode提供的主要服务是基于其内部定义的org.apache.hadoop.hdfs.server.namenode.FSNamesystem属性来

/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regard

package org.apache.hadoop.hdfs.protocol;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.util.Date;import org.apache.hadoop.io.Text;import org.

DatanodeInfo extends DatanodeID implements Node,那么DatanodeID是干什么的呢？它封装了node name、storage ID、infoserverPort、ipcPort。package org.apache.hadoop.hdfs.protocol;import java.io.DataInput;import java.

Host2NodesMap 是一个学习ReentrantReadWriteLock的一个很好的例子。该类org.apache.hadoop.hdfs.server.namenode.Host2NodesMap用来保存Datanode结点的主机 -> DatanodeDescriptor数组的映射的类，其实一个DatanodeDescriptor中已经包含了Datanode所在主机的字符串的信息，该

FSNamesystem private void initialize(NameNode nn, Configuration conf) throws IOException对FSDirectory进行了如下调用this.dir = new FSDirectory(this, conf);StartupOption startOpt = NameNode.getStartupOption

1、StringUtils.startupShutdownMessage(NameNode.class, argv, LOG);入参：public static final Log LOG = LogFactory.getLog(NameNode.class.getName()); {final String hostname = getHostname(); //  Inet

/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regard

步骤1：将安装包hadoop-2.2.0.tar.gz存放到某一个目录下，并解压步骤2：修改解压后的目录中的文件夹etc/hadoop下的xml配置文件(如果文件不存在，则自己创建)hadoop-evn.sh修改export JAVA_HOME=/usr/java/jdk1.6.0_12slaves文件修改为(可改也不改)YARN0001如果是本机，默认的是loca