alain898的专栏

原创 ApplicationMaster实现原理

转载 关注google的guava工具包

google的guava工具包的确很多好东西，包括之前的字符串处理工具类的，还有大量的collection相关的，项目地址在：http://code.google.com/p/guava-libraries/ 留意到其中的collection相关类中的map,简单介绍如下，更多的请大家补充挖掘或者 看原来的文档：     guava提供的是多值map!，就是说，一个key，

原创 Jaas中的各种概念

Subject ：表示一个用户（人或程序）Principals ：既可以代表一个用户的各种“身份证件（即identity）”，也可以代表一个用户的各种“身份角色(即role)”

原创 Linux论文资源1

内容和质量都非常翔实的论文集合：https://www.kernel.org/doc/ols/

原创 map任务中的Mapper类

在Hadoop1.1.2中，Mapper.java中的Mapper并不是一个接口，而是一个类；但是其作用就是一个接口，Mapper类是这个接口的默认实现；我们在写自己map-reduce应用时，需要按照自己的需求实现自己的MyMapper类，我们实现的MyMapper类就必须是继承自这个Mapper类。从源代码来看，原理如下所示：在MapTask.java的runNewMapper函数

转载 hadoop几个版本区别

转载自http://blog.youkuaiyun.com/chlaws/article/details/84796270.20.x是历史稳定版0.23.x是根据0.20.x的稳定版引入了federation和yarn,但缺少NN和HA1.0.x是当前稳定版，但和0.20.x系列差不多，只不过有些优化改进1.1.x是beta版2.0.x 现在是alpha版，有yarn和federati

原创 什么是Web应用程序？什么是JavaBean？

前两天读hadoop的源码，看到其中JMX部分用到了Bean的概念，于是到网上查了些关于Bean的资料。结果呢，尼玛找了些关于EJB（enterprise java beans）的资料，以为带个java、带个bean字样就是javabean了。后来看了半天发现EJB这货压根不是我期望学习的资料。然后，将错就错吧，找了《enterprise java beans3.0中文版》这本书，读到了一些关于W

原创 map任务中，merge过程的实现方法

大写的FS表示“分布式文件系统”map任务中，merge的排序算法首先，在map任务产生的所有中间文件（即IFile格式文件）中，选择文件大小最小的io.sort.factor（即源代码中的factor变量）个文件，然后将代表这些文件的Segment实例化对象各自作为一个节点，建成一个“小顶堆”。而对这个小顶堆中各个节点排序的比较方法，实际上就是在比较各个Segment第一个键值对

原创 TaskTracker上进行作业本地化的过程

下面是在TaskTracker上进行作业本地化的过程：（注意Task与TaskTracker是运行在同一个节点上的，因为Task所在的JVM是由TaskTracker启动的）// intialize the job directory  RunningJob localizeJob(TaskInProgress tip)   throws IOException, Interrup

原创 TaskTracker向JobTracker发送心跳时的问题

HeartbeatResponse transmitHeartBeat(long now) throws IOException {    // Send Counters in the status once every COUNTER_UPDATE_INTERVAL    boolean sendCounters;    if (now > (previousUpdate + CO

原创 DistributedCacheManager

TaskDistributedCacheManager：管理的是单独一个job的缓存文件（cached files）TrackerDistributedCacheManager：管理的是一个TaskTracker中由所有job共享的缓存文件

原创 hadoop中的MetricsSystem类的含义

generateNewIdentifier()返回系统当前时间字符串，如"201307032019"metrics system ：度量系统，是用于计量某个事物的各个可测量属性的多个计量单元的集合。而在HADOOP中这个“事物”是指JVM。每一个JVM都有且仅有一个MetricsSystem的实例，就是DefaultMetricsSystem中的单例“INSTANCE”。而每一个JVM中都

原创 将分片split的信息写入到job.split和splitmetainfo文件中

int writeNewSplits(JobContext job, Path jobSubmitDir) throws IOException,      InterruptedException, ClassNotFoundException {    Configuration conf = job.getConfiguration();    InputFormat input

原创 mapreduce中的split(分片)问题

//这是hadoop1.0.4中LineRecordReader.java中的一段代码 public void initialize(InputSplit genericSplit,                         TaskAttemptContext context) throws IOException {    FileSplit split = (F