redHat6.4-x86_64下Hadoop 2.7.2 伪分布式安装

最新推荐文章于 2018-08-22 20:26:21 发布

原创最新推荐文章于 2018-08-22 20:26:21 发布 · 1.6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #伪分布式

hadoop 专栏收录该内容

4 篇文章

订阅专栏

本文详细介绍了在虚拟机上搭建Hadoop伪分布式环境的过程，包括环境配置、SSH免密登录设置、Hadoop安装及各配置文件的具体修改方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天在虚拟机上搭建hadoop伪分布式环境，以做学习之用，特此记录。

环境：win7 64位、VMware 10.0.1、Red Hat Enterprise Linux 6.4 64bit、jdk1.8.0_73;

1、jdk安装步骤在这里有提到，这里不做赘述。

2、ssh 免密匙登录

2.1、检查是否可以免密匙登录

<span style="font-family:Courier New;font-size:14px;">[root@master sbin]# ssh localhost
The authenticity of host 'localhost (::1)' can't be established.
ECDSA key fingerprint is 7b:10:e3:b5:ea:7d:29:be:77:83:1c:c0:1d:85:de:ba.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
[root@localhost's password:
Last login: Sat Apr  2 22:32:44 2016</span>

2.2、配置免密匙登录

2.2.1生成密钥

输入命令 ssh-keygen -t rsa 然后一路回车即可

2.2.2复制到公共密钥中

cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys

2.2.3再次登录，即可免密匙

[root@master ~]# ssh localhost
Last login: Thu Oct 20 15:47:22 2016 from 192.168.1.61

3 安装hadoop

3.1下载解压

从hadoop官网下载包，我选择的是hadoop-2.7.2.tar.gz。

将包放到soft目录下(若未创建，请先在根目录下创建soft目录)，进入soft目录，执行tar -zxvf hadoop-2.7.2.tar.gz解压。

3.2修改hadoop-env.sh 增加JAVA_HOME路径

export JAVA_HOME=/usr/java/jdk1.8.0_73

3.3编辑core-site.xml

<span style="font-family:Courier New;font-size:14px;"><configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration></span>

3.4辑hdfs-site.xml

<span style="font-family:Courier New;font-size:14px;"><configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration></span>

3.5格式化

进入hadoop路径下，输入bin/hdfs namenode -format

3.6开启mapreduce

进入hadoop路径下，输入sbin/start-dfs.sh

启动后访问http://192.168.1.249:50070/

如图

3.7停止mapreduce

进入hadoop路径下，输入sbin/stop-dfs.sh

3.8配置mapred-site.xml

进入hadoop路径下，执行mv etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

然后编辑mapred-site.xml

<span style="font-family:Courier New;font-size:14px;"><configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration></span>

3.9配置yarn-site.xml

<span style="font-family:Courier New;font-size:14px;"><configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration></span>