hodoop集群环境搭建----伪分布模式(Pseudodistributed mode)

本文档详细介绍了如何在本地环境中搭建Hadoop的伪分布式集群。从配置SSH到启动所有Hadoop进程,包括格式化HDFS、设置JAVA_HOME、启动服务、验证运行状态以及通过WebUI查看文件系统。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

          a)进入${HADOOP_HOME}/etc/hadoop目录
           三种模式共存
            1.创建三个配置目录,内容等同于hadoop目录
      ${hadoop_home}/etc/local
      ${hadoop_home}/etc/pesudo
     ${hadoop_home}/etc/full

    2.创建符号连接
       $>ln -s pesudo hadoop
 b)编辑core-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
c)编辑hdfs-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
d)编辑mapred-site.xml
注意:cp mapred-site.xml.template mapred-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
e)编辑yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>


       配置:core-site.xml hdfs-site.xmls yarn-site.xml mapred-site.xml



        f)配置SSH 

                           1)检查是否安装了ssh相关软件包(openssh-server + openssh-                                      clients +       openssh)


$yum list installed | grep ssh


2)检查是否启动了sshd进程
$>ps -Af | grep sshd

3)在client侧生成公私秘钥对。
$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

4)生成~/.ssh文件夹,里面有id_rsa(私钥) + id_rsa.pub(公钥)


5)追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)
$>cd ~/.ssh
$>cat id_rsa.pub >> authorized_keys

6)修改authorized_keys的权限为644.
$>chmod 644 authorized_keys
                其他不能有w这个不能权限

7)测试
$>ssh localhost

     开启伪分布式   

             1.对hdfs进行格式化
$>hadoop namenode -format =hdfs namenode -format
              2修改hadoop配置文件,手动指定JAVA_HOME环境变量
[${hadoop_home}/etc/hadoop/hadoop-env.sh]
...
export JAVA_HOME=/soft/jdk 
...

 
    3.启动hadoop的所有进程
$>start-all.sh 


    4.启动完成后,出现以下进程
$>jps
33702 NameNode
33792 DataNode
33954 SecondaryNameNode


29041 ResourceManager
34191 NodeManager


    5查看hdfs文件系统
$>hdfs dfs -ls /
 
    6.创建目录
$>hdfs dfs -mkdir -p /user/centos/hadoop


    7.通过webui查看hadoop的文件系统
http://IP地址:50070/


    8.停止hadoop所有进程
$>stop-all.sh

 



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值