tusing的专栏

1.   Hellow hadoop~~! Hadoop（某人儿子的一只虚拟大象的名字）是一个复杂到极致，又简单到极致的东西。 说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成，你运行的每一个任务都要在这些计算机上做任务的分发，执行中间数据排序以及最后的汇总，期间还包含节点发现，任务的重试，故障节点替换等等等等的维护以及异常情况处理。谁叫hadoop集

1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。         /etc/security/limits.conf

目标：搭建包含多台masters和多台slaves的hadoop分布式集群 一、安装系统 1 安装virtualbox 2 安装centos(可参考百度文库：centOS6.3搭建LAMP平台) 由于就一台主机(内存4G，双核CPU)，因此只安装4个虚拟机系统，内存分配512/512/256/256，也可安装好一个，然后用virtualbox复制功能（此时需要修改网络设置eth0，同时