hadoop-2.7.0单机部署

一、准备工作

1、软件环境：Hadoop-2.7.0、CentOS 6.4、jdk-1.7.0

2、创建hadoop用户、解压

useradd hadoop
passwd hadoop
su hadoop
cd ~
tar -xvf /tmp/hadoop-2.7.0.tar.gz .

View Code

3、增加环境变量

vi /etc/profile
export HADOOP_HOME=/home/hadoop/hadoop-2.7.0
export PATH=$JAVA_HOME/bin:$PATH:$MYSQL_HOME/bin:$HOME:$HADOOP_HOME/bin

View Code 

4、安装ssh

先检查系统有没有开启22端口：ssh localhost，若出现登录密码提示说明已安装ssh服务，否则需要安装ssh服务

sudo apt-get install openssh-server　

5、设置免密码登陆

$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""
$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

二、配置Hadoop中相应的文件

需要配置的文件如下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml，所有的文件均位于$HADOOP_HOME/etc/hadoop下面，具体需要的配置如下：

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

View Code

core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:9000</value>
    </property>
</configuration>

View Code

mapred-site.xml.template

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>node1:9001</value>
    </property>
</configuration>

View Code

hadoop-env.sh中将JAVA_HOME改为绝对路径

export JAVA_HOME=/usr/local/jdk

三、运行hadoop

1、初始化HDFS系统

[hadoop@TD-OMSMANGO-02 ~]$ hdfs namenode -format

2、开启 NameNode 和 DataNode 守护进程

$HADOOP_HOME/sbin/start-dfs.sh

3、查看进程

JPS

4、查看webUI ，访问http://192.168.37.242:50070/

四、运行WordCount Demo

1、在本地新建一个文件，笔者在home/leesf目录下新建了一个words文档，里面的内容可以随便填写。

2、在HDFS中新建一个文件夹，用于上传本地的words文档，在hadoop2.7.0目录下输入如下命令：

hdfs dfs -mkdir /test，表示在hdfs的根目录下建立了一个test目录

使用如下命令可以查看HDFS根目录下的目录结构

hdfs dfs -ls /  

3、将本地words文档上传到test目录中

使用如下命令进行上传操作：

hdfs dfs -put /tmp/words /test/

使用如下命令进行查看

hdfs dfs -ls /test/

4、运行wordcount

使用如下命令运行wordcount：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar wordcount /test/words /test/out

5、查看运行结果

使用如下命令查看运行结果：

hadoop fs -cat /test/out/part-r-00000

至此，运行过程就已经完成了。

转载于:https://my.oschina.net/u/3372233/blog/862822