https://blog.youkuaiyun.com/jackydai987zh-cnhttps://blog.youkuaiyun.com/https://blog.youkuaiyun.com/jackydai987/article/details/38059325https://blog.youkuaiyun.com/jackydai987/article/details/38059325jackydai987Wed, 23 Jul 2014 10:14:10 +0800https://blog.youkuaiyun.com/jackydai987/article/details/6673063https://blog.youkuaiyun.com/jackydai987/article/details/6673063jackydai987Tue, 09 Aug 2011 16:43:55 +0800https://blog.youkuaiyun.com/jackydai987/article/details/6446270https://blog.youkuaiyun.com/jackydai987/article/details/6446270jackydai987Wed, 25 May 2011 23:51:00 +0800今天不是什么新的内容，主要介绍下0.20版本下hadoop的调试、计数器、调试信息输出等内容。
相信很多人学习hadoop都是从hadoop权威指南开始的，但权威指南使用的hadoop版本是0.19版本的，而有部分人（其中包括我）使用的0.20版本的。相信大家都知道0.20版本相对于0.19版本有了重大的改变。提供了一系列新的API。具体哪些我这里就不具体说了。其中一个跟测试、调试密切相关的就是在0.20版本出现了Context  object（上下文对象）.所以本篇日志就记录一下我在]]>https://blog.youkuaiyun.com/jackydai987/article/details/6441241https://blog.youkuaiyun.com/jackydai987/article/details/6441241jackydai987Tue, 24 May 2011 00:59:00 +0800https://blog.youkuaiyun.com/jackydai987/article/details/6303459https://blog.youkuaiyun.com/jackydai987/article/details/6303459jackydai987Tue, 05 Apr 2011 21:25:00 +0800https://blog.youkuaiyun.com/jackydai987/article/details/6279102https://blog.youkuaiyun.com/jackydai987/article/details/6279102jackydai987Sat, 26 Mar 2011 00:17:00 +0800https://blog.youkuaiyun.com/jackydai987/article/details/6279010https://blog.youkuaiyun.com/jackydai987/article/details/6279010jackydai987Fri, 25 Mar 2011 23:29:00 +0800这几天忙着找实习，所以日志耽搁了，现在来补起~~。
相信很多人都知道  PKU Online Judge，现在中国人民大学也提供了一个类似的平台，但与北京在线评判系统不一样的是，中国人民大学的这个系统是专门评判mapreduce编程题的。
我把链接发出来，大家可以去试着做看看: http://cloudcomputing.ruc.edu.cn/index.jsp
大家在做题前，先看看“常见问题”根据系统要求的格式来写程序。不然不能正常运行。（我就是直接运行错了3次。]]>https://blog.youkuaiyun.com/jackydai987/article/details/6244725https://blog.youkuaiyun.com/jackydai987/article/details/6244725jackydai987Sat, 12 Mar 2011 21:09:00 +0800这两天在网上看了个MapReduce的多文件输出的帖子： http://blog.youkuaiyun.com/inkfish。写的不错。
我试着完成了一下。也是分为三个文件：我这三个文件，跟原作者的稍有不同。其中有些类是我原来写的，我直接拷贝过来的，所以有点不同。
My_LineRead.java
public class My_LineRead extends RecordWriter{ private static final String]]>https://blog.youkuaiyun.com/jackydai987/article/details/6244710https://blog.youkuaiyun.com/jackydai987/article/details/6244710jackydai987Sat, 12 Mar 2011 21:02:00 +0800 168.150.177.166:139TCP TTL:128 TOS:0x0 ID:4000 I]]>https://blog.youkuaiyun.com/jackydai987/article/details/6239803https://blog.youkuaiyun.com/jackydai987/article/details/6239803jackydai987Fri, 11 Mar 2011 13:02:00 +0800https://blog.youkuaiyun.com/jackydai987/article/details/6230269https://blog.youkuaiyun.com/jackydai987/article/details/6230269jackydai987Mon, 07 Mar 2011 22:26:00 +0800https://blog.youkuaiyun.com/jackydai987/article/details/6228542https://blog.youkuaiyun.com/jackydai987/article/details/6228542jackydai987Mon, 07 Mar 2011 11:45:00 +0800https://blog.youkuaiyun.com/jackydai987/article/details/6227740https://blog.youkuaiyun.com/jackydai987/article/details/6227740jackydai987Sun, 06 Mar 2011 22:12:00 +0800https://blog.youkuaiyun.com/jackydai987/article/details/6227365https://blog.youkuaiyun.com/jackydai987/article/details/6227365jackydai987Sun, 06 Mar 2011 18:13:00 +0800MapReduce流程分析
接触Hadoop已经1年了，一直没时间好好学习下。这几天打算好好研究下Hadoop.本来是想打算改写下TextInputFormat。看了源码后，反而更迷糊了。所以干脆连MapReduce的整个流程写下来。也当为这几天的学习作个总结。
先来一个我们常写的main函数。
Configuration conf = new Configuration();
              String[] otherArgs = new ]]>https://blog.youkuaiyun.com/jackydai987/article/details/6227299https://blog.youkuaiyun.com/jackydai987/article/details/6227299jackydai987Sun, 06 Mar 2011 17:25:00 +0800https://blog.youkuaiyun.com/jackydai987/article/details/6226729https://blog.youkuaiyun.com/jackydai987/article/details/6226729jackydai987Sun, 06 Mar 2011 12:01:00 +0800本文转帖来自：http://jiajun.javaeye.com/blog/809125
 
一、dits和fsimage

    首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。
集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。当名称节点（NameNode）启动时，会从镜像文件 fsimage 中读取HDFS的状态，并且把edits文件中记录的操作应用到fsimage，也就是合并]]>https://blog.youkuaiyun.com/jackydai987/article/details/6226230https://blog.youkuaiyun.com/jackydai987/article/details/6226230jackydai987Sat, 05 Mar 2011 22:48:00 +0800https://blog.youkuaiyun.com/jackydai987/article/details/6226108https://blog.youkuaiyun.com/jackydai987/article/details/6226108jackydai987Sat, 05 Mar 2011 21:51:00 +0800https://blog.youkuaiyun.com/jackydai987/article/details/6225330https://blog.youkuaiyun.com/jackydai987/article/details/6225330jackydai987Sat, 05 Mar 2011 13:30:00 +08001、重读配置文件core-site.xml
要利用Java客户端来存取HDFS上的文件，不得不说的是配置文件hadoop-0.20.2/conf/core-site.xml了，最初我就是在这里吃了大亏，所以我死活连不上HDFS，文件无法创建、读取。



https://blog.youkuaiyun.com/jackydai987/article/details/6223027https://blog.youkuaiyun.com/jackydai987/article/details/6223027jackydai987Fri, 04 Mar 2011 13:07:00 +0800
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 
Answer：
程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。
修改办法：
修改2个文件。
        /etc/security/limits.conf
vi /etc/security/li]]>