hadoop分布式安装

1.安装jdk
  (1)使用root登录
  (2)把windows下的jdk文件拖到虚拟机的桌面
  (3)打算安装到/home目录下， mv /root/Desktop/jdk-6u24-linux-i586.bin /home
  (4)授予执行权限 chmod 700 jdk-6u24-linux-i586.bin
  (5)解压缩 ./jdk-6u24-linux-i586.bin
  (6)重命名文件夹 mv jdk-6u24 jdk (这时jdk的完整路径是/home/jdk)
  (7)配置环境变量 vi /etc/profile
  (8) export JAVA_HOME=/home/jdk
      export PATH=.:$PATH:$JAVA_HOME/bin
      保存退出vi
  (9)为了让profile立即生效，source /etc/profile
  (10)检验是否成功 java -version    
2.修改ip、关闭防火墙
  (1)setup
  (2)选中firewall Configuration，关闭防火墙。使用命令service iptables status查看是否关闭了。
  (3)选中network configuration，选中Device...，再选中eth0，去掉DHCP，设置static ip和netmask。
  (4)重启网卡service network restart，查看ip设置是否生效ifconfig。
3.修改主机名称
(1)hostname  installTest
  (2)修改文件vi /etc/hosts，追加一行记录192.168.1.xxx installTest
  (3)使用命令hostname查看修改是否生效
4.配置ssh
(1)cd进入当前用户主目录
  (2)执行命令ssh-keygen -t rsa，不断回车即可
  (3)进入文件夹 cd .ssh
  (4)产生授权文件 cp id_rsa.pub authorized_keys
  (5)重启sshd服务 service sshd restart
  (6)访问目标主机 ssh installTest 第一次执行的时候，回答“yes”，进入目标主机，使用exit退出
  (7)第二次执行ssh installTest。如果没有出现问答提示，证明配置成功。
5.安装hadoop
  5.1配置环境变量
  (1)tar -zxvf hadoop-1.0.4.tar.gz
  (2)vi /etc/profile
  (3)export HADOOP_HOME=/home/hadoop
     export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
  (4)source /etc/profile
  
  5.2改配置文件hadoop-env.sh
  export JAVA_HOME=/home/jdk
    export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
  export HADOOP_PID_DIR=/home/hadoop/pids
  
  5.3改配置文件core-site.xml
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>  
    <property>
        <name>fs.default.name</name>
        <value>hdfs://installTest:9000</value>
    </property>
    
  5.4改配置文件hdfs-site.xml
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    
  5.5改配置文件mapred-site.xml
    <property>
        <name>mapred.job.tracker</name>
        <value>installTest:9001</value>
    </property>
    
6.启动hadoop
  (1)格式化文件系统hadoop namenode -format
  (2)启动命令start-all.sh
  (3)执行jps，如果出现6行，证明启动正确。
  (4)如果启动失败，查看logs日志
  (5)使用浏览器查看 http://installTest:50070     htpp://installTest:50030
如果出现nameNode deprecated或则格式化时出现了hadoop deprecated则可以在/etc/profile文件的
最后加上这么一句话
  export HADOOP_HOME_WARN_SUPPRESS=1

7. 验证hadoop是否启动成功

使用jps命令会出现6个进程

[root@hadoopMast ~]# jps
7708 SecondaryNameNode
7769 JobTracker
7603 DataNode
7499 NameNode
7899 TaskTracker
8201 Jps

或则使用浏览器访问

http://ip:50030

http://ip:50070

8.使用命令行管理目录和文件
  创建文件夹 hadoop fs -mkdir /input
  删除文件夹 hadoop fs -rmr /input
  上传文件   hadoop fs -put /home/install.log /input
  下载文件   hadoop fs -get /input/install.log .
  查看文件   hadoop fs -cat /input/install.log
  
9.执行mapreduce任务
  (1)计算pi值 hadoop jar xxx.jar pi 10 10
  (2)单词计数 hadoop jar xxx.jar wordcount /input /output