ubuntu 12.10下搭建 hadoop 1.0.4 单机和伪分布模式

最新推荐文章于 2015-11-24 23:22:04 发布

Mark_meego

最新推荐文章于 2015-11-24 23:22:04 发布

阅读量2.1k

点赞数 2

CC 4.0 BY-SA版权

文章标签： Hadoop Ubuntu

本文链接：https://blog.youkuaiyun.com/Mark_meego/article/details/8800290

本文档详细介绍了在Ubuntu环境中搭建Hadoop的过程，包括单机模式及伪分布模式的配置步骤，并解决了在设置data目录权限时出现的具体问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

主要内容来自

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）

http://www.linuxidc.com/Linux/2013-01/77681.htm

这篇文章已经讲得很详细，这里我只写在搭建过程中遇到的问题。

在伪分布模式搭建过程中：

新建data目录时

~/hadoop$ mkdir hdfs/data

要把data的权限设成755

~/hadoop$ sudo chmod 755 hdfs/data

否则在格式化HDFS时会出错，在log可以观察到

org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /home/hadoop/hadoop-1.0.4/hdfs/data, expected: rwxr-xr-x, while actual: rwxrwxr-x
2013-04-14 15:14:36,077 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.

格式化HDFS后启动

hadoop@ubuntu:~/hadoop-1.0.4/bin$ start-all.sh

用jps命令查看

hadoop@ubuntu:~/hadoop-1.0.4$ jps
14963 SecondaryNameNode
15052 JobTracker
15269 TaskTracker
14548 NameNode
14756 DataNode
15319 Jps

如果都列出来，说明搭建成功，漏一个都是有问题的，可能登不上 http://localhost:50060

或者 http://localhost:50070 显示

Configured Capacity    :    0 KB
DFS Used    :    0 KB
Non DFS Used    :    0 KB
DFS Remaining    :    0 KB
DFS Used%    :    100 %
DFS Remaining%    :    0 %
Live Nodes     :    0
Dead Nodes     :    0