shorn的专栏

安装前准备(各服务器环境保持一致)硬件环境hadoop只能安装在linux或unix服务器之上。3台或以上linux服务器(h1,h2,h3)。如果使用windows服务器，则需要安装cygwin，在cygwin中部署hadoopjava环境jdk 1.6及以上在每台服务器上创建hadoop用户用于安装hadoopuseradd hadoop在每台服务器

hadoop的内部数据传输涉及到三个角色之间的数据传输：Client - NameNodeClient - DataNodeDataNode - NameNodeDataNode - DataNode之间的通信使用的是rpc方式，那么rpc的过程就需要涉及对象的序列化。hadoop的源码中实现了两套序列化，一套是封装了java默认的java.io.Serializable方式，但是

Editlog文件记录了日常针对数据文件的操作，在Hdfs启动时，会合并fsimage文件与editlog文件，构成整个hdfs整个文件系统。对editlog进行操作主要的类有如下：FSEditLog操作editlog文件，包括打开、关闭、写入等操作open使用EditLogOutputStream打开所有的editlog文件，准备往里写入数据。close关

Trash.Emptierhdfs中删除文件后会将文件存放到用户目录的下的.Trash/子目录中，每隔一段时间Trash.Emptier线程进行彻底删除，在这段时间用户仍然可以把误删除的文件恢复。清空.Trash的时间间隔默认为60分钟，可以使用fs.trash.interval进行配置调整。如果interval设置为0则表示垃圾回收功能关闭。Trash.Emptier线程在NameNod

hadoop内嵌了jetty的服务，提供了一系列的servlet供外界或是内部节点之间使用http访问HttpServer封装了jetty的Server，提供http服务默认会提供三个context/logs/ 指向log目录 配置为hadoop.log.dir/static/ 指向统计目录src/webapps/static/ 指向jsp页面目录src/webapps/

hadoop namenode -regular正常启动NameNode服务，regular是默认参数用于启动服务，如果不带参数直接执行hadoop namenode，也是进入regular运行流程。执行regular，主要完成两个任务加载fsimage，建立blockmap启动如下的一些服务：服务类作用serviceRpcServe

upgrade/rollback/importCheckpoint在FsImage.recoverTransitionRead方法中，针对upgrade/rollback/importCheckpoint参数，在启动前做了特殊的操作，代码如下：switch(startOpt) { case UPGRADE: doUpgrade(); return f

secondarynamenode是针对namenode所做的一个镜像备份，以及定时去合并editlog与fsimage内容为checkpoint(默认一个小时)。在namenode发生故障无法启动时，可以使用snn准备的checkpoint文件，在namenode启动时带上-importCheckpoint参数来进行恢复。不带参数启动，是默认启动secondarynamenode服务，查看o

hadoop namenode后需要带上一系列参数才能顺利执行。执行hadoop namenode时，会从org.apache.hadoop.hdfs.server.namenode.NameNode进入hadoop，通过参数的不同调用不同的方法对namenode进行操作。try { StringUtils.startupShutdownMessage(NameNode.class, a

查看Hadoop的源码包，主要分为以下几个模块:corepackage作用sub-packageorg.apache.hadoop.conf读取及解析配置文件 org.apache.hadoop.fs支持各种文件系统数据操作以及处理文件系统权限org.apache.hadoop.fs.ftp,org.apach

安装完hadoop后，在命令行执行hadoop，会出现如下提示：Usage: hadoop [--config confdir] COMMANDwhere COMMAND is one of: namenode -format format the DFS filesystem secondarynamenode run the DFS secondary na

hadoop自己实现了一个简单的rpc机制，用于在服务器之间进行数据传输，大体的结构如下：主要分为三个部分Server使用java.nio包发布服务Server.Connection保存与客户端的连接，存放对应的Socket、SocketChannel与UserGroupInformation使用UserGroupInformation控制当前操作的权限