u011569805的专栏

二、 模拟namenode崩溃，例如将name目录的内容全部删除，然后通过secondary namenode恢复namenode，抓图实验过程1. 删除NameNode中 name目录下的所有内容， NameNode down 2. 停止集群，格式化NameNode3. 从DataNode获取down之前的namespaceID

问题2：修改ResourceManager和资源调度器相关实现，使其支持以下容错机制：当一个应用程序的ApplicationMaster运行失败时，先尝试在原节点重启它，如果重启失败，再将其重新调度到其他节点上。为

1. 配置Ganglia只需要修改三个文件 gmond.conf, g

1. 加上环境变量HADOOP_HOME=[installation folder]/hadoop-2.2.0export HADOOP_HOMEHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoopexport HADOOP_CONF_DIRCLASSPATH1=$(JARS=("$HADOOP_HOME"/share/hadoop/common/*.jar)

http://www.tuicool.com/articles/bMnYzyzookeeper参考下文http://www.blogjava.net/hello-yun/archive/2012/05/03/377250.htmlZookeeper3.4.5 搭建比较简单，修改环境变量，修改zoo.cfg；并在zoo.cfg中datadir简历myid 加上zoo.cfg对应编

五、 在Hadoop集群实施成功后，再次格式化名称节点，请问此时datanode还能加入集群不？如果不能加入怎样解决？模拟过程并抓图 1. 停止集群，并bin/hadoop namenode -format 2. 启动集群，并查看datanode datanode 无法启动3. 查看日志，显示 datanode 与 namenode na

hadoop2.2源码编译遇到的问题和下文差不多http://blog.sina.com.cn/s/blog_93d695390101b5vf.html在YARN自带的软件包中有关于编译的说明，具体参见：BUILDING.txt。在RetHat中编译YARN，Jdk为1.6.0_23.1.下载YARN源码包下载地址：http://mirror.bit.edu

在10月15日hadoop2.2 release 版本一发布就打算抽时间用6台机器搭建hadoop2.2小的测试集群。这下抽出时间花了一天半时间才搞定被各种环境坑了多次，终于成功了。现在把遇到的问题记录如下：1.首先由于机器环境是64位，从官网下载的2.2中本地库是32位的需要自己用源码编译替换本地库（ YARN加载本地库抛出Unable to load native-hadoop libra

1.org.apache.hadoop.util  Runjar hadoop-unjar将提交的jar 解压到${hadoop.tmp.dir}/hadoop-unjar/public static void unJar(File jarFile, File toDir, Pattern unpackRegex)    throws IOException {

org.apache.hadoop.utilShutDownHookManager1.ShutDownHookManager 单例模式2.getShutdownHooksInOrder()内部类 HookEntry 有两个成员变量，hook(Runnable), priority(int)此方法按priority 优先级排序（优先级大的再前面），返回List3.最后Shut

org.apache.hadoop.util.hash1. Hash抽象类 有两个实现类JenkinsHash与MurmurHash,默认是MurmurHash可以通过hadoop.util.hash.type配置｛murmur，jenkins｝2.JenkinsHash有main方法可以运行一下： if (args.length != 1) {      System.e

org.apache.util.ReflactionUtil1.内部类CopyInCopyOutBuffer(线程池管理) 结合类SerializationFactory(单例模式管理) 序列化和反序列化copy private static class CopyInCopyOutBuffer {    DataOutputBuffer outBuffer = new DataOutp

org.apache.hadoop.util.Key1.Key 继承WritableComparable 成员变量：bytes[]  double weight2.writable  // Writable  @Override  public void write(DataOutput out) throws IOException {    out.writ

create user 'hive'@'%' identified by 'hive';GRANT ALL PRIVILEGES ON*.* TO 'hive'@'%' Identified by 'hive';  使用mysql 存储 metastore 配置中注意两个问题1.配置文件2005行 --->2.hive.metastore.schema.verificati