hadoop的搭建

hadoop集群搭建

本次搭建的是hadoop-2.6.5，该版本的兼容性较好

hadoop的集群搭建有三种方式：

    单节点
    伪分布式
    分布式

• 单节点

在一台机器上运行的hadoop，搭建配置简单，这里不详细展开

• 伪分布式

  安装软件
      jdk安装，配置环境变量
      vi /etc/profile
  免秘钥
      ssh免秘钥（官网上的写法）
          ssh localhost
          ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
          cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  上传文件
      解压，mv hadoop-2.6.5 /opt/sxt
      修改配置文件
          JAVA_HOME
          HADOOP_PREFIX
  配置集群文件
      修改JAVA_HOME
      修改core-site.xml
          配置NameNode的启动地址和端口
          配置数据存放目录
      修改hdfs-site.xml
          配置文件副本个数
          配置secondaryNameNode的启动地址和端口
      修改slaves
          添加从节点主机名
  启动集群
      初始化
          hdfs namenode -format
      启动
          start-dfs.sh
  操作
      创建/user/root目录
      上传hadoop压缩包文件
      查看
          通过浏览器的地址+端口号查看信息
  

• 分布式

  安装环境
      传送文件
          scp -r命令传送java安装包到其他三个节点上
          用过scp -r将/etc/profile文件传送到其他三个节点上
  配置免秘钥
      在其他三个节点上：ssh localhost
      通过scp -r命令将node01的公钥传到其他三个节点上
      cat ~/node01.pub  >> ~/.ssh/authorized_keys
  配置hadoop配置文件
      在伪分布式集群上的变化
          将数据临时存放路径改
          集群副本数改
          secondarynamenode启动地址改
          slaves改
  将hadoop部署包分发到其他三个节点上
      cd /opt/sxt
      scp -r hadoop-2.6.5  node02:`pwd`
      scp -r hadoop-2.6.5  node03:`pwd`
      scp -r hadoop-2.6.5  node04:`pwd`
      将配置文件分发到其他三个节点上
  确认进程
      jps
  启动集群
      初始化NameNode
          如原先有full文件，需要将其删除，再进行初始化
      start-dfs.sh
      通过jps命令确认其他节点的进程运行状况
      通过浏览器查看集群文件及状态