hadoop单机开发环境搭建

1、Linux是一个多用户的操作系统。每个用户登录系统后，都会有一个专用的运行环境。通常每个用户默认的环境都是相同的，这个默认环境实际上就是一组环境变量的定义。用户可以对自己的运行环境进行定制，其方法就是修改相应的系统环境变量。

2、常在/etc/profile文件中修改环境变量，在这里修改的内容是对所有用户起作用的。

3、如何添加环境变量。
　　例如添加”NAME=liheng“ 。在profile文件的最后添加如下内容export NAME=liheng
　　变量值liheng可以加引号也可以不加，效果一样。

4、在profile文件添加或修改的内容需要注销系统才能生效。

9、使用修改.bashrc文件（在用户的家目录下）进行环境变量的编辑，只对当前用户有用。
　　使用修改 /etc/profile 文件进行环境变量的编辑，是对所有用户有用。大家一定要注意区别。

---

①/etc/profile:
该文件登录操作系统时，为每个用户设置环境信息，当用户第一次登录时,该文件被执行。也就是说这个文件对每个shell都有效，用于获取系统的环境信息。
②/etc/bashrc：
为每一个运行bash shell的用户执行此文件，当bash shell被打开时,该文件被读取。也就是说，当用户shell执行了bash时，运行这个文件。
③~/.bashrc
该文件存储的是专属于个人bash shell的信息，当登录时以及每次打开一个新的shell时,执行这个文件。在这个文件里可以自定义用户专属的个人信息。
~/.bashrc:该文件包含专用于你的bash shell的bash信息,当登录时以及每次打开新的shell时,该 该文件被读取.

---

1.初始化，更新最新的软件包信息
终端：sudo apt-get update
2.安装jdk
终端：sudo apt-get install default-jdk
安装完成后，测试是否安装成功
终端：java -version
查看jdk安装路径
终端：update-alternatives –display java
3.安装SSH
终端：sudo apt-get install ssh
4.安装rsync
终端：sudo apt-get install rsync
产生sshKey密钥
终端：ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
会看到如下：
Generating public/private dsa key pair.
Created directory ‘/home/hduser/.ssh’.
Your identification has been saved in /home/hduser/.ssh/id_dsa.
Your public key has been saved in /home/hduser/.ssh/id_dsa.pub.
The key fingerprint is:
SHA256:xuCYXNaZ1hhydhL6Mv+lqD3PunXLXwzmKCeB1GKwjKE hduser@demo1
The key’s randomart image is:
+—[DSA 1024]—-+
| . o *.. |
| . + O X |
| E . B X o |
| . * B o |
| + + S . o |
| = . + o |
| . + = . o|
| ..= O . . |
| ..=== o.. |
+—-[SHA256]—–+
查看产生的密钥
终端：ll ~/.ssh
将产生的Key放到许可证文件中
终端：cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
5.安装hadoop
安装hadoop2.8.0版本
终端：wget https://archive.apache.org/dist/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
下载完成后，解压
终端：sudo tar -zxvf hadoop-2.8.0.tar.gz
解压完成后，将解压的目录移至合适的目录下
终端：sudo mv hadoop-2.8.0 /usr/local/hadoop
————————设置hadoop环境变量————————
终端：sudo gedit ~/.bashrc
输入：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 
export HADOOP_HOME=/usr/local/hadoop 
export PATH=$PATH:$HADOOP_HOME/bin 
export PATH=$PATH:$HADOOP_HOME/sbin 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" 
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

保存退出
让~/.bashrc生效
终端：source ~/.bashrc
————————修改hadoop配置文件————————
包括hadoop-env.sh, core-site.xml, yarn-site.xml, hdfs-site.xml, mapred-site.xml

修改hdfs-site.xml，用于设置HDFS分布式文件系统
终端：sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml
在中加入：
设置blocks副本备份数量

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

设置NameNode数据存储目录

<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>

设置DataNode数据存储目录

<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>

修改yarn-site.xml，用于MapReduce2（YARN）的相关配置
终端：sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml
在中加入：

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

修改mapred-site.xml，用于设置监控Map与Reduce程序的JobTracker任务分配情况以及TaskTracker任务运行情况
Hadoop提供了设置的模板文件，可以先复制过来后再做修改
终端：sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
终端：sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml
在中加入：
设置mapreduce框架为yarn

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

修改core-site.xml
终端：sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml
在中加入：
设置HDFS的默认名称

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

修改hadoop-env.sh
终端：sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
将

export JAVA_HOME=${JAVA_HOME}

修改为：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

————————创建并格式化HDFS目录————————
创建namenode，datanode数据存储目录（在hadoop配置文件hdfs-site.xml中有设置过，所以需要创建）
终端：
创建namenode，datanode数据存储目录

sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode

将Hadoop目录的所有者更改为当前你的用户
sudo chown hduser:hduser -R /usr/local/hadoop
格式化HDFS
终端：hadoop namenode -format

————————启动hadoop并查看相关信息————————
启动方式一：
分别启动dfs和yarn
终端：
start-dfs.sh
start-yarn.sh
启动方式二：
终端：
start-all.sh

使用jps来查看已经启动的进程
终端：
jps
执行后若看到输出：
5745 DataNode
6083 ResourceManager
5924 SecondaryNameNode
6214 NodeManager
6409 Jps
5595 NameNode
说明hadoop已经成功启动

使用http://localhost:8088/来打开Hadoop Resource-Manager Web界面

使用http://localhost:50070/来打开NameNode HDFS Web界面