billyuncle的博客

 使用hadoop2.6.5版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群。一、主机规划hadoop001192.168.159.129hadoop002192.168.159.130hadoop003192..168.159.131hadoop004192..168.159.133hadoop0051...

六、配置SSH免密码通讯  1、对hadoop001节点上的root用户配置ssh     输入“ssh-keygen -t rsa”，生成秘钥  2、使用“cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys”命令，把公钥复制到认证文件(authorized_keys)中，如下图所示：3、确保.ssh目录的权限是700（使用chmod 700 .ssh命令修改）...

在上个章节中我们要在5个节点上均要创建/home/hadoop/app、/home/hadoop/tools、/home/data目录，我们是在每个节点上执行mkdir命令，这样是不是很啰嗦，效率很低，于是采用shell脚本实现多节点批处理是明智之举。在这里，我写1个配置文件与2个shell脚本（deploy.conf、deploy.sh、runRomteCmd.sh）；一、deploy.conf...

一、上传deploy.conf、deploy.sh、runRomteCmd.sh三个shell脚本文件      上一章节中描述了deploy.conf、deploy.sh、runRomteCmd.sh三个shell脚本文件，将这三个文件上传到hadoop001节点的/usr/hadoop/tools目录下：  给脚本文件添加执行权限。chmod u+x deploy.shch...

1.将本地下载好的jdk-8u45-linux-x64.tar.gz,上传至hadoop1节点下的/usr/java目录中；2.解压JDK3.删除安装包4.配置环境变量5.使配置文件生效6.检验JDK是否安装成功在hadoop002, hadoop003, hadoop004, hadoop005节点上，重复以上步骤，完成jdk配置。或者 通过脚本将hadoop001中的jdk安装包分发到hado...

1.将本地下载好的zookeeper-3.4.10.tar.gz安装包，上传至hadoop001节点下的/home/hadoop/app目录下；2.解压3.删除zookeeper-3.4.10.tar.gz安装包4.重命名5. 修改Zookeeper中的配置文件   复制一个zoo.cfg文件    编辑zoo.cfg文件6、通过脚本deploy.sh将Zookeeper安装目录拷贝到其他节点上面...

1、将下载好的hadoop-2.6.5.tar.gz安装包，上传至hadoop001节点中的/usr/hadoop/app目录下。2、解压安装包：tar zxvf hadoop-2.6.5.tar.gz。3、重命名解压文件目录：mv  hadoop-2.6.5 hadoop4、删除hadoop-2.6.5.tar.gz5.配置hadoop家目录下的.bash_profile生效.bash_prof...

1.配置mapred-site.xml（默认没有mapred-site.xml文件，从mapred-site.xml.template文件复制一份，改名为mapred-site.xml就可以）2.配置yarn-site.xml<?xml version="1.0"?><!--  Licensed under the Apache License, Version 2.0 (the...

    在以上章节中我们已经成功搭建Hadoop集群， 有了这个基础再安装HBase应该就比较简单，我们将hadoop001和hadoop002节点配置为Master，将hadoop003、hadoop004和hadoop005节点配置为RegionServer。    1. 将下载的hbase-2.0-bin.tar.gz上传到hadoop001节点的/usr/hadoop/app目录下，解压后...