伪分布式hadoop搭建与配置学习笔记

1、下载Hadoop-2.6.5版本

地址：
http://archive.apache.org/dist/hadoop/core/hadoop-2.4.1/
命令：

wget http://archive.apache.org/dist/hadoop/core/hadoop-2.4.1/

2、把下载好的tar解压：

tar –zxvf hadoop-2.6.5.tar.gz

3、设置环境变量：

vim ~/.bash_profile

目的：在该文件中把Hadoop的home、bin、sbin目录加到path中去
文件底部添加如下内容：

• HADOOP_HOME=/root/haitao/hp/Hadoop-2.6.5
• export HADOOP_HOME
• PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
• export PATH

并生效环境变量：

source ~/.bash_profile

4、配置hadoop-2.6.5/etc/hadoop/hadoop-env.sh

先进入到路径hadoop-2.6.5/etc/hadoop

vim hadoop-env.sh

注释掉：#export JAVA_HOME=${JAVA_HOME}

增加：export JAVA_HOME=/usr/share/jdk1.8

可忽略部分

          此路径是jdk的安装路径
          配置好了本地模式之后，需要通过内部提供的DEMO来测试是否安装成功
          演示Demo：
          存放地址：/usr/local/hadoop/share/hadoop/mapreduce
          如果想了解到底内部提供了多少个Demo，那执行以下语句：
          在mapreduce目录下执行：hadoop jar hadoop-mapreduce-examples-2.6.5.jar

5、配置hdfs-site.xml

6、配置core-site.xml

tmp文件若没有则新建

内部ip查询：

ip addr

7、配置mapred-site.xml

8、配置yarn-site.xml

9、格式化NameNode

（注意：只需要格式化一次，若要重新格式化，先把（/usr/local/hadoop/tmp） tmp目录下的文件清空）

hdfs namenode –format

失败则回去找配置文件问题
成功标志如下：

10、启动hadoop

start-all.sh

hdfs ：存储数据
yarn：执行程序即计算

关闭hadoop命令：

stop-all.sh

11、启动hadoop

（1）命令行jps

（2）Web端

HDFS：http://ip:50070
Yarn：http://ip:8088
Jps命令运行结果：

Yarn
HDFS

12、eclipse想用hadoop时需要导入四个位置的jar包

• hadoop-2.4.1\share\hadoop\mapreduce\lib
• hadoop-2.4.1\share\hadoop\mapreduce
• hadoop-2.4.1\share\hadoop\common/lib
• hadoop-2.4.1\share\hadoop\common