hadoop-2.7.3伪分布式的搭建-优快云博客

本文链接：https://blog.youkuaiyun.com/microsoft2014/article/details/69831485

本文介绍如何在Hadoop单机环境下配置core-site.xml、hdfs-site.xml、yarn-site.xml等关键文件，并设置环境变量。此外还提供了启动各服务组件的方法及常见错误解决策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

进入hadoop安装目录etc/hadoop需修改如下配置项：

1.core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/damon/hadoopdata</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2.hdfs-site.xml

<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3.yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        </property>

    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
        </property>
</configuration>

4.~/.bashrc

export JAVA_HOME=/usr/local/jdk1.8.0_101
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/damon/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export PATH

若启动namenode时，报如下错误则：

mkdir: cannot create directory `/home/damon/hadoop-2.7.3/logs': Permission denied

解决方法：说明hadoop-2.7.3这个文件用户组和所有者为root，权限不足。

sudo chown -R damon hadoop-2.7.3 //修改所有者
sudo chgrp -R damon hadoop-2.7.3 //修改用户组
ll   //查看是否修改成功

启动命令如下：

$hadoop-daemon.sh start namenode   //启动namenode
$hadoop-daemon.sh start datanode   //启动datanode
$yarn-daemon.sh start resourcemanager  //启动yarn中resourcemanager
$yarn-daemon.sh start nodemanager  //启动yarn中nodemanager
$jps //查看启动的进程。

此时，启动的进程如下：

12069 NameNode
12651 NodeManager
12780 Jps
12381 ResourceManager
12190 DataNode

可通过浏览器查看：

http://localhost:8088
http://localhost:50070

参考：董西成