shorn的专栏

安装完hadoop后，在命令行执行hadoop，会出现如下提示：Usage: hadoop [--config confdir] COMMANDwhere COMMAND is one of: namenode -format format the DFS filesystem secondarynamenode run the DFS secondary na

4.2 Confinguring a JobRepository之前说过，JobRepository是基本的CRUD操作，用于持久化Spring Batch的领域对象(如JobExecution,StepExecution)。许多主要的框架组件(如JobLauncher,Job,Step)都需要使用JobRepositor。batch的命名空间中已经抽象走许多JobRepository的实现细

4.4 Running a Job运行一个批处理任务至少有两点要求：一个JobLauncher和一个用来运行的job。它们都包含了相同或是不同的context。举例来说，从命令行来启动job，会为每一个job初始化一个jvm，因此每个job会有一个自己的JobLauncher；从web容器的HttpRequest来启动job，一般只是用一个JobLauncher来异步启动job，http请求会

hadoop内嵌了jetty的服务，提供了一系列的servlet供外界或是内部节点之间使用http访问HttpServer封装了jetty的Server，提供http服务默认会提供三个context/logs/ 指向log目录 配置为hadoop.log.dir/static/ 指向统计目录src/webapps/static/ 指向jsp页面目录src/webapps/

Editlog文件记录了日常针对数据文件的操作，在Hdfs启动时，会合并fsimage文件与editlog文件，构成整个hdfs整个文件系统。对editlog进行操作主要的类有如下：FSEditLog操作editlog文件，包括打开、关闭、写入等操作open使用EditLogOutputStream打开所有的editlog文件，准备往里写入数据。close关

Trash.Emptierhdfs中删除文件后会将文件存放到用户目录的下的.Trash/子目录中，每隔一段时间Trash.Emptier线程进行彻底删除，在这段时间用户仍然可以把误删除的文件恢复。清空.Trash的时间间隔默认为60分钟，可以使用fs.trash.interval进行配置调整。如果interval设置为0则表示垃圾回收功能关闭。Trash.Emptier线程在NameNod

hadoop的内部数据传输涉及到三个角色之间的数据传输：Client - NameNodeClient - DataNodeDataNode - NameNodeDataNode - DataNode之间的通信使用的是rpc方式，那么rpc的过程就需要涉及对象的序列化。hadoop的源码中实现了两套序列化，一套是封装了java默认的java.io.Serializable方式，但是

hadoop自己实现了一个简单的rpc机制，用于在服务器之间进行数据传输，大体的结构如下：主要分为三个部分Server使用java.nio包发布服务Server.Connection保存与客户端的连接，存放对应的Socket、SocketChannel与UserGroupInformation使用UserGroupInformation控制当前操作的权限

Chapter 4. Configuring and Running a Job在领域章节，我们讨论了整体结构的设计，使用下图表示：虽然一个job看上去只是许多step的简单容器，但是开发者必须要注意许多配置项。此外，job的运行以及job运行过程中元数据如何被保存也是需要考虑的。本章将会介绍job运行时的各种配置项。4.1. Configuring a Jobjob接口的

3.2 Step        Step是一个领域对象，它封装了批处理任务中的一个独立的连续阶段。因此每个job是由一个或是多个step组成的，step包含了定义以及控制一个实际运行中批处理任务所必须的所有信息。这个描述很含糊，是因为step中的内容完全是编写job的开发者所赋予的，step的复杂度完全依赖于开发者。一个简单的step可能只是从文件中加载数据到数据库，只需要几行代码(依赖于实现

Chapter 3. 批处理的领域语言        Spring Batch所使用的批处理概念对于任何有批处理操作的架构师来说都会感到熟悉与舒适，其中有"Jobs"，"Steps"以及工程师提供的被称为"ItemReader"和"ItemWriter"的批处理单元。然而，由于Spring的模式、操作、模板、回调和术语，还有着以下的方便性：在分离关注点方面的显著增强轮廓清晰的架构层次与

查看Hadoop的源码包，主要分为以下几个模块:corepackage作用sub-packageorg.apache.hadoop.conf读取及解析配置文件 org.apache.hadoop.fs支持各种文件系统数据操作以及处理文件系统权限org.apache.hadoop.fs.ftp,org.apach

Chapter 2 Spring Batch 新特性   Spring Batch 2.0正式版特性分为6个主题：Java 5不连续的分布执行面向Chunk处理强化元数据扩展性可配置2.1 JAVA 5    Spring 1.x都是基于Java 1.4开发的，因此这个系列版本的框架都无法使用Java 5提供的一些增强特性，如泛型，参数化类型等。升级后的框架充分利用了这

Chapter 1 Spring Batch 介绍    许多企业领域的应用需要在关键任务中进行批量处理来操作业务逻辑。这些业务操作并不需要与人类进行交互就能够自动高效地进行大数据量的复杂处理。例如有基于时间的事件(如月底的统计、通知、邮件等)，也有定期对大数据量进行业务逻辑计算(如保险收益计算和利率调整)，或者是把从内部和外部系统中获取到的数据进行格式化以及校验后集成到系统记录中去。

hadoop namenode后需要带上一系列参数才能顺利执行。执行hadoop namenode时，会从org.apache.hadoop.hdfs.server.namenode.NameNode进入hadoop，通过参数的不同调用不同的方法对namenode进行操作。try { StringUtils.startupShutdownMessage(NameNode.class, a

2.3 配置强化在2.0之前，只有一种方式把批处理任务配置成一个spring配置项，到了2.0版本，批处理任务配置有了新的namespace。例如，在1.1版本中需要像下面这样配置任务：<bean id="footballJob" class="org.springframework.batch.core.job.SimpleJob">

hadoop namenode -regular正常启动NameNode服务，regular是默认参数用于启动服务，如果不带参数直接执行hadoop namenode，也是进入regular运行流程。执行regular，主要完成两个任务加载fsimage，建立blockmap启动如下的一些服务：服务类作用serviceRpcServe

secondarynamenode是针对namenode所做的一个镜像备份，以及定时去合并editlog与fsimage内容为checkpoint(默认一个小时)。在namenode发生故障无法启动时，可以使用snn准备的checkpoint文件，在namenode启动时带上-importCheckpoint参数来进行恢复。不带参数启动，是默认启动secondarynamenode服务，查看o

upgrade/rollback/importCheckpoint在FsImage.recoverTransitionRead方法中，针对upgrade/rollback/importCheckpoint参数，在启动前做了特殊的操作，代码如下：switch(startOpt) { case UPGRADE: doUpgrade(); return f

4.5 Advanced Meta-Data usage到目前为止，已经讨论了JobLauncher和JobRepository接口，它们展示了简单启动任务，以及批处理领域对象的基本CRUD操作：一个JobLauncher使用一个JobRepository创建并运行新的JobExection对象，Job和Step实现随后使用相同的JobRepository在job运行期间去更新相同的J