hadoop学习记录2-Hadoop安装配置

• 安装前的环境：四台机器的时间一致；需要一台机器进行免密码登录，即可以访问任何一台机器，包括自己，而不需要输入密码。这样便于通过一台机器进行控制，而且避免每一次都需要输入密码。
  
  • 时间一致：
    
    • date查看时间
    • ntpdate -u xx.xx.xx.xx同步xx.xx.xx.xx服务器的时间到本机，一般使用ntpdate -u ntp.api.bz。参看链接
      
  • 设置免密码登录Setup passphraseless ssh参考Hadoop
    
    • ssh登录方式：ssh 192.168.116.3
    • 第一步：node1上生成秘钥文件，公共秘钥和私有秘钥ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    • 第二步，将公共秘钥加入到认证文件中：cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。到此node1能够访问node1自己了。
    • 第三部，将node1的公钥发送给node234，并添加到node234的认证文件中。node1中执行scp ~/.ssh/id_dsa.pub root@node2:/opt/，node2中执行ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa加上cat /opt/id_dsa.pub >> ~/.ssh/authorized_keys。其他node3、4同理。
      
      
    • 第四步，解压Hadoop到linux指定文件，编辑etc/hadoop/hadoop-env.sh修改参数export JAVA_HOME=/usr/java/jdk1.7.0_79/。
    • 修改hadoop/core-site.xml文件、hadoop/hdfs-site.xml文件、slaves文件，添加masters文件
      
      
      
      
      
    • 配置完成。将node1的配置复制到另外三个scp -r hadoop-2.5.1/ root@node2:/home/
    • 配置hadoop环境变量vi ~/.bash_profile。复制到另外三个。source ~/.bash_profile生效
      
  • 启动
    
    • 1、格式化hdfsbin/hdfs namenode -format
    • 2、启动NameNode daemon and DataNode daemonstart-dfs.sh
      
  • 访问验证