nice_wen的博客

此处主要参考博客 http://blog.madhukaraphatak.com/secondary-namenode—what-it-really-do/

mapreduce全局变量设置这两天正好在做倒排索引，需要利用总文档数来完成一项job，但是发现通过在最外层类设置static变量进行全局变量的共享时，发现并没用，在main函数给static变量赋值后，mapper类中取出的是0或者null。后面发现可能是由于每个mapper和reducer并不是存在同一个线程，所以导致无法共享static变量。后来在网上查了一下，大概有这么三种方法，共享全局变量

将core-site.xml的fs.defaultFS 改为 hdfs://localhost:8020

实验时发现，如果不设置mapper类的话，会默认设置一个reducer，需要通过job.setNumReduceTask(0) 将reducer设置为0。若没有reducer，则直接输出mapper的原始中间结果，不进行conbiner（即使设置了combiner），sort等一些列操作。若设置了reducer，即使不设置combiner，系统也将设置一个默认的combiner，如下图所示：未设置

一、FileInputFormat类的输入分片1.1 map任务个数等于split个数在hadoop当中，map任务的个数等于split（分片）的个数，一个split对应一个map。 当文件小于split的大小时，一个文件对应一个split； 当文件大小超过split时，该文件将被切分成多个split，文件大小除以split得到split个数。 1.2 split大小的设置max（minimu

吐血啊刚入门大数据，最近在学习hbase相关的知识，用java写了一个创建table的例子。 然后傻逼了，写完了直接就在在idea里面跑了，结果报错：找了整整一晚上，后来找师兄请教了一下，师兄建议直接到集群上跑，或者跑伪分布。 然后就跑了伪分布，发现不报idea里面的错了，而是报：class not found。上网一查，是因为没有在hadoop-env.sh里面将hbase下的lib目录添加到