Ubuntu14.04下安装伪分布式Hadoop-2.6.0完整步骤

一、安装VIM

sudo apt-get install vim

二、更改主机名(Master)

sudo vim /etc/hostname

三、更改主机解析地址

sudo vim /etc/hosts

127.0.0.1       localhost
127.0.1.1      Master

四、创建hadoop用户组和hadoop用户

  1.新建hadoop用户组

sudo addgroup hadoop-group

  2.新建hadoop用户,并加入hadoop-group

sudo adduser --ingroup hadoop-group hadoop

  3.给用户hadoop赋予和root一样的权限

sudo vim /etc/sudoers

root   ALL=(ALL:ALL) ALL
hadoop ALL=(ALL:ALL) ALL

五、安装JDK

   1.复制jdk到安装目录

      1-1.在/usr/local下新建java目录

cd /usr/local
sudo mkdir java

      1-2.将jdk-8u40-linux-i586.tar.gz文件解压至目标文件夹

sudo tar -xzvf jdk-8u40-linux-i586.tar.gz -C /usr/local/java

   2.配置环境变量

      2-1.打开/etc/profile文件

sudo vim /etc/profile

      注意：/etc/profile为全局配置文件，配置后对所有用户生效；~/.bashrc为用户局部配置文件，只对当前用户生效。

      2-2.添加如下变量

# /etc/profile: system-wide .profile file for the Bourne shell (sh(1))  
# and Bourne compatible shells (bash(1), ksh(1), ash(1), ...).  
#set java environment  
export JAVA_HOME=/usr/local/java/jdk1.8.0_40  
export JRE_HOME=/usr/local/java/jdk1.8.0_40/jre    
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH  
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH   

      2-3.使该文件生效

source /etc/profile

   3.检查是否安装成功

java -version

六、安装ssh

   1.更新apt-get

sudo apt-get update

   2.安装openssh-server服务

sudo apt-get install openssh-server

   3.建立ssh无密码登录本机

      3-1.创建ssh-key

ssh-keygen -t rsa -P ""

      3-2.进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中

cd ~/.ssh
cat id_rsa.pub >> authorized_keys 或

cp id_rsa.pub authorized_keys

      3-3.登录localhost

ssh localhost

      3-4.执行退出命令

exit

七、安装Hadoop

   1.解压到（根）~目录下

tar -xzvf hadoop-2.6.0.tar.gz

   2.修改Hadoop配置文件，进入${HADOOP_HOME}/etc/hadoop/目录

      2-1.在hadoop-env.sh中修改Java安装目录

export JAVA_HOME=/usr/local/java/jdk1.8.0_40 

      2-2.修改core-site.xml，添加如下内容

<property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/hadoop/hadoop-${user.name}</value>   //不能为/tmp目录，因为hadoop每次重启后会清理/tmp目录
</property>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://192.168.217.128:9000</value>
</property>

      2-3.修改hdfs-site.xml，添加以下内容

<configuration>    
  <property>        
    <name>dfs.namenode.name.dir</name>        
    <value>/usr/local/hadoop/dfs/name</value>    
  </property>
  <property>        
    <name>dfs.datanode.data.dir</name>        
    <value>/usr/local/hadoop/dfs/data</value>    
  </property>    
  <property>        
    <name>dfs.replication</name>        
    <value>1</value>    
  </property> 
</configuration>

      2-4.将mapred-site.xml.template重命名为mapred-site.xml，并添加如下内容

<property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
</property>

      2-5.修改yarn-site.xml，添加以下内容

<property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
</property>

   3.格式化HDFS

bin/hdfs namenode -format

      注：bin/hadoop namenode -format命令已过时，这条命令执行完成以后，会在/usr下生成一个hadoop文件夹，里面保存了namenode的格式化信息（需要先使usr目录有可写权限）。

   4.启动HDFS

sbin/start-dfs.sh 

       之后可以通过web界面输入http://localhost:50070查看Hadoop Administration信息

   5.启动YARN

sbin/start-yarn.sh

       之后可以通过web界面输入http://localhost:8088查看Cluster信息

   6.上述HDFS和YARN启动完成后，可通过jps命令查看是否启动成功

hadoop@s1:/usr/local/hadoop$ jps
5748 SecondaryNameNode
5397 NameNode
6375 ResourceManager
6507 NodeManager
5550 DataNode
6719 Jps

   7.测试

      7-1.测试计算PI，命令如下

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 20 10

      7-2.测试 grep，首先需要上传输入文件到HDFS上，命令如下：

bin/hdfs dfs -put etc/hadoop input

            运行grep程序，命令如下：

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+'