安装单节点Hadoop

比较好的网站
http://blog.youkuaiyun.com/kuanghongjiang/article/details/23851757


hadoop下载网址
http://archive.apache.org/dist/hadoop/common/
hbase下载网址
http://archive.apache.org/dist/hbase/
hive下载网址
http://archive.apache.org/dist/hive/
1.上传Hadoop
2.创建安装目录
mkdir /master
3.解压Hadoop
tar -zxvf hadoop-2.2.0.tar.gz -C /master/
4.配置Hadoop
(1)修改hadoop-env.sh 
    cd /master/hadoop-2.2.0/etc/hadoop
    vi hadoop-env.sh
    export JAVA_HOME=/usr/java/jdk1.7.0_45
(2)修改core-site.xml
    vi core-site.xml
 <configuration>
 用来指定hdfs的老大（NameNode）的地址
  <property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:9000</value>
  </property>
   用来指定Hadoop运行时产生文件的存放目录
  <property>
  <name>hadoop.tmp.dir</name>
  <value>/master/hadoop-2.2.0/tmp</value>
  </property>
 </configuration>
(3)修改hdfs-site.xml
  用来指定hdfs保存数据副本的数量
    <configuration>
        <property>
           <name>dfs.replication</name>
           <value>3</value>
        </property>
    </configuration>
(4)修改mapred-site.xml
将mapred-site.xml.template重命名为mapred-site.xml
(mv mapred-site.xml.template mapred-site.xml)
    <configuration>
     告诉Hadoop以后MR运行在YARN上
        <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
        </property>
    </configuration>
(5)修改yarn-site.xml
   <configuration>
    NodeManager获取数据的方式是shuffle
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
    指定YARN的老大(ResourceManager)的地址
         <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>master</value>
        </property>
    </configuration>
5.修改Hadoop环境变量
   vi /etc/profile
   export HADOOP_HOME=/master/hadoop-2.2.0
   export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
   刷新配置
   source /etc/profile
6.初始化文件系统HDFS(格式化文件系统)
  hadoop namenode -format(过时)
  which hdfs
  hdfs namenode -format
7.启动Hadoop（HDFS YARN）
  cd sbin/
  ./start-all.sh（过时）
  输入四次密码
  jps
  重启一下
  还可以通过浏览器的方式验证
  http://192.168.196.3:50070(HDFS管理界面)
  http://192.168.196.3:8088(YARM管理界面)
8.点击file无法显示
  在Windows下配置 
  C盘Windows System32 drivers etc host文件中
  最后加 192.168.196.3 master可以显示
9.测试HDFS
    上传文件到HDFS
    hadoop fs -put /root/jdk-7u45-linux-x64.tar.gz           hdfs://master:9000/jdk
    下载从HDFS文件到本地
    hadoop fs -get hdfs://master:9000/jdk /home/jdk1.7
10.测试MR和YARN