hadoop-2.7.3伪分布式的搭建

最新推荐文章于 2025-12-10 10:28:22 发布

原创最新推荐文章于 2025-12-10 10:28:22 发布 · 634 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #伪分布式

Hadoop 专栏收录该内容

3 篇文章

订阅专栏

本文介绍如何在Hadoop单机环境下配置core-site.xml、hdfs-site.xml、yarn-site.xml等关键文件，并设置环境变量。此外还提供了启动各服务组件的方法及常见错误解决策略。

进入hadoop安装目录etc/hadoop需修改如下配置项：

1.core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/damon/hadoopdata</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2.hdfs-site.xml

<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3.yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        </property>

    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
        </property>
</configuration>

4.~/.bashrc

export JAVA_HOME=/usr/local/jdk1.8.0_101
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/damon/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export PATH

若启动namenode时，报如下错误则：

mkdir: cannot create directory `/home/damon/hadoop-2.7.3/logs': Permission denied

解决方法：说明hadoop-2.7.3这个文件用户组和所有者为root，权限不足。

sudo chown -R damon hadoop-2.7.3 //修改所有者
sudo chgrp -R damon hadoop-2.7.3 //修改用户组
ll   //查看是否修改成功

启动命令如下：

$hadoop-daemon.sh start namenode   //启动namenode
$hadoop-daemon.sh start datanode   //启动datanode
$yarn-daemon.sh start resourcemanager  //启动yarn中resourcemanager
$yarn-daemon.sh start nodemanager  //启动yarn中nodemanager
$jps //查看启动的进程。

此时，启动的进程如下：

12069 NameNode
12651 NodeManager
12780 Jps
12381 ResourceManager
12190 DataNode

可通过浏览器查看：

http://localhost:8088
http://localhost:50070

参考：董西成