每天积累一点点

1. JobTracker 暂无容错机制，挂掉之后，需要人工介入，重启。 用户可以通过配置一些参数，以便JobTracker重启后，让所有作业恢复运行。用户配置若干参数后，JobTracker重启前，会在history log中记录各个作业的运行状态，这样在JobTracker关闭后，系统中所有数据目录（包括各种临时目录）均会被保留，待JobTracker重启之后，JobTracker

单机安装、配置：   安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个目录如：/home/frank/ZooKeeperInstall/zookeeper-3.3.3下。   配置文件存放在/conf/目录下，将zoo_sample.cfd文件名称改为zoo.cfg,  缺省的配置内容如下：     # The number of mil

1.必要的包 1.     yum install svn 2.     yum install autoconfautomakelibtool cmake 3.     yum install ncurses-devel 4.     yum install openssl-devel 5.     yum install gcc* 2.安装maven 下载apache-mav

hdfs-site.xml 配置： 1.   dfs.nameservices ：配置nameservice的逻辑名称，与core-site.xml里fs.defaultFS配置的对应        dfs.nameservices         mycluster 2. dfs.ha.namenodes.[nameservice ID] ：在nameservice中给每个

问题： 安装hadoop2.2的FairScheduler配置队列，发现web页面不显示队列的Resources    org.apache.hadoop.yarn.server.resourcemanager.webapp.FairSchedulerPage生成FairScheduler的页面，其中获取队列资源Resources展示的方法在render方法中。通过org.apache.hado

如果是第一次接触hadoop2.0版本的 Fairshare scheduler ， 最好先看一下他的官方文档： http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/hadoop-yarn-site/FairScheduler.html yarn.resourcemanager.schedul

安装和配置详解 本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。 单机模式 单机安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个目

其实很多人都知道hadoop自带一个hadoop balancer的功能,作用于让各个datanode之间的数据平衡. 比如说node-A有100GB数据,占用磁盘99%空间; 而node-B只有10GB数据占用磁盘10%空间~ 那么当我们以hdfs身份运行hadoop balance的时候,hadoop将会平衡这两个node之间的数据. 至于多少叫做平衡,hadoop的d