三劫散仙

[b][color=green][size=large]本事故，发生在测试的环境上，虽然不是线上的环境，但也是一次比较有价值的事故。起因：公司里有hadoop的集群，用来跑建索引，PHP使用人员，调用建索引的程序时，发现MapReduce集群启动不起来了，报IOException异常，具体的异常没有记录，大致的意思就是磁盘空间满了，导致创建文件失败！下面散仙模拟当时的环境，...

[b][color=green][size=large]在配置hadoop1.x的集群时，如果我们在hdfs-site.xml里面，如果明确指定了dfs的路径，需要设置下dfs.data.dir的权限，下面是散仙在Hadoop1.2.0里面的配置：[/size][/color][/b][code="xml"]dfs.replication1dfs.name.dir...

[b][color=green][size=large]迎合技术发展，公司最近需要对原有的hadoop进行升级操作，升级前的hadoop为1.2.1的版本，升级后的hadoop为hadoop2.2.0的版本，下面散仙总结下升级心得：（1）hadoop的hdfs系统，支持不同的hadoop版本之间的数据平滑过渡，比如可以直接将Hadoop1.x的数据，升级到hadoop2.x的HDFS上，能...

[size=large]继上次升级hadoop完毕后，集群启动正常，但是在访问Namenode的50070的界面上，发现了如下截图的警告信息： [/size][img]http://dl2.iteye.com/upload/attachment/0099/3811/ef2a4650-2939-3697-a7b3-c300c9a9364d.jpg[/img][size=large]如上异...

[size=medium]（1）Topologies 拓扑解释：拓扑类似一个集装箱，所有的货物都会存储在集装箱里面最后被托运走，storm里面所有的代码和文件最终会被打包在一个拓扑中，然后提交在storm集群中运行，类似于Hadoop中的一个MapReduce的作业，最大的区别在于MapReduce最终会主动停止，Storm的Topologies不会主动停止，除非你强制kill...

最近，要在沙箱的环境装一个hadoop的集群，用来建索引所需，装hadoop已经没啥难的了，后面，散仙会把重要的配置信息，贴出来，本次装的hadoop版本是hadoop1.2的版本，如果不知道怎么装的，可以参考[url=http://qindongliang.iteye.com/blog/1964852]这篇文章[/url]，安装的具体步骤，散仙在这里不在重述，重点在于hadoop-nd,hado...

[b][color=green][size=large]今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Java heap space的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里...