hadoop安装与配置（本地模式）

hadoop版本:hadoop-2.7.2

虚拟机安装前期配置：IP地址、IP与主机映射、关闭防火墙

一、安装java jdk

   1、下载java jdk1.8版本，放在root/software目录下

   2、在linux根路径创建目录app：mkdir app

   3、解压：tar -zxvf java-jdk*.jar  -C ../app/

   4、vim ~/.bash_profile

#添加

export JAVA_HOME=root/app/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

#配置生效

source ~/.bash_profile

  4、是否安装成功：java -version

二、安装hadoop

2、解压hadoop到app目录中：tar -zxvf hadoop-2.7.2.tar.gz -C /app/

3、进入目录：/app/hadoop-2.7.2/etc/hadoop

三、修改配置文件

1、修改hadoop-env.sh，配置jdk路径：

export JAVA_HOME=/root/app/jdk1.8.0_144

2、修改core-site.xml，配置如下

<configuration>

    <!-- 指定HDFS名称节点（namenode）的通信地址 -->

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://locahost:9000</value>

</property>

    <!-- 指定hadoop运行时产生文件的存储路径 -->

<property>

        <name>hadoop.tmp.dir</name>

        <value>/app/hadoop/tmp</value>

</property>

</configuration>

3、修改hdfs-site.xml，配置如下

<!-- 设置hdfs副本数量 -->

<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

4、修改mapred-site.xml ，修改名称：mv mapred-site.xml.template mapred-site.xml

<configuration>

<!-- 通知框架MR使用YARN -->

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

</configuration>

5、修改yarn-site.xml，配置如下

<configuration>

<!--reducer取数据的方式是mapreduce_shuffle-->

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>localhost</value>

</property>

</configuration>

6、添加hadoop到环境变量，然后生效：source ~/.bash_profile

export JAVA_HOME=//home/software/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/app/hadoop 

export PATH=$PATH:$HADOOP_HOME/bin

四、启动hadoop

1、格式化namenode

hdfs namenode -format

2、启动hdfs和yarn

先启动 HDFS
sbin/start-dfs.sh
再启动 YARN
sbin/start-yarn.sh

3、查看进程：jps

1127 Jps

4500 SecondaryNameNode

9742 NodeManager

1364 ResourceManager

7798 NameNode

5473 DataNode

4、hdfs管理界面：http://localhost:50070  MR的管理界面：http://localhost:8088 ，可以在浏览器中查看hdfs和mr的状态.

五、运行wordcount

 1、进入hadoop安装目录中的share：/app/hadoop-2.7.2/share/hadoop/mapreduce

 2、example程序

hadoop-mapreduce-client-app-2.7.2.jar

hadoop-mapreduce-client-common-2.7.2.jar

hadoop-mapreduce-client-core-2.7.2.jar

hadoop-mapreduce-client-hs-2.7.2.jar

hadoop-mapreduce-client-hs-plugins-2.7.2.jar

hadoop-mapreduce-client-jobclient-2.7.2.jar

hadoop-mapreduce-client-jobclient-2.7.2-tests.jar

hadoop-mapreduce-client-shuffle-2.7.2.jar

hadoop-mapreduce-examples-2.7.2.jar

 3、上传文件至hdfs：hadoop fs -put datas hdfs://localhost:9000/datas（hadoop fs -ls /datas查看文件）

 4、mapreduce测试： hadoop jar hadoop-mapreduce-examples-2.7.2.jar pi 1 2

hello Java

hello spark

hello hive

hello hbase

5、打开页查看运行状态：http://localhost:50070/