superye1983的专栏

一般map的个数系统会根据文件block数量来获取而reduce个数一般默认1个，在每个JOB用户根据自己的需要自己调整但是往往同一个JOB在不同目录下获取的数据大小相差很多，所以要根据每次获取数据的大小来确定reduce public static long getDirSize(Path dir, Configuration conf) throws IOException{

Hadoop中所有文件的信息都记录在Namenode的内存中因为Hadoop的设计是处理大数据，理想的数据文件应该是BLOCKSIZE的倍数为了避免小文件占用过多的系统内容,Hadoop提供了Archive来管理小文件不过har有可能使用的不是很多，在hive，pig，甚至hadoop中都有一些BUG，很多应用都有问题在这里做个记录1.文件夹模糊匹配   在使用hadoop

CDH5已经使用了Hadoop2.2.0重新弄个虚拟机重头装一下由于Cloudera强烈建议使用rmp包或者apt-get的方式安装，一时半刻我都没有找到手动安装的说明，在安装的遇到多个问题，稍作记录首先环境要求         JDK1.7_u25+         Maven3.0.5         protoc2.5