Hadoop伪分布式集群搭建过程

最新推荐文章于 2025-07-09 15:11:09 发布

Mine_Cun

最新推荐文章于 2025-07-09 15:11:09 发布

阅读量286

点赞数

CC 4.0 BY-SA版权

分类专栏： Linux 文章标签： linux 伪分布

本文链接：https://blog.youkuaiyun.com/Mine_Cun/article/details/80376684

Linux 专栏收录该内容

13 篇文章

订阅专栏

本文介绍了如何在Linux CentOS 6.5 Desktop上搭建Hadoop 2.7.3的伪分布式集群。首先，安装CentOS并创建非root用户，接着安装jdk1.8并配置环境变量。然后，配置core-site和hdfs-site，设置无密登录，更新hosts文件，最后执行文件系统格式化。完成这些步骤后，可以通过http://localhost:50070访问NameNode的Web界面。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

搭建环境：

Hadoop2.7.3 jdk1.8.0_162 LinuxCentOS6.5Desktop

安装步骤：

1、安装CentOS6.5，注意：采用自建用户【hyxy/123456】，不可以使用root

2、安装jdk1.8，创建软连接。安装路径/home/hyxy/soft，所有的安装包必须放到/home/hyxy/soft

配置环境变量，在.bash_profile下：

export JAVA_HOME=/home/hyxy/soft/jdk.soft 
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export  PATH=${JAVA_HOME}/bin:$PATH

3、安装hadoop，解压，创建软连接官网教程

配置core-site，hdfs-site。

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

4、配置无密登录

  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

5、修改文件/etc/hosts

ip地址 主机名  #原有信息中添加

6、格式化文件系统

 $ bin / hdfs namenode -format

7、启动NameNode守护进程和DataNode守护进程：

 $ sbin / start-dfs.sh

8、浏览NameNode的Web界面; 默认情况下它可用于：

NameNode - http：// localhost：50070 /