Hadoop开发 error

最新推荐文章于 2024-04-03 12:50:16 发布

张之海

最新推荐文章于 2024-04-03 12:50:16 发布

阅读量687

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： Hadoop error

本文链接：https://blog.youkuaiyun.com/ZZh1301051836/article/details/88833155

hadoop 专栏收录该内容

18 篇文章

订阅专栏

本文介绍了Hadoop集群搭建及常见问题排查方法，包括解决Namenode和DataNode进程缺失的问题，以及WordCount任务执行失败的情况。提供了配置修改、端口开放等实用技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 集群搭建完成时

Hadoop 集群搭建完成，第一次格式化Namenode结点后：
正常情况会出现：
Namenode running as process …
Datanode running as process …
Datanode running as process …

若使用jps命令，没有出现Namenode
core-site.xml中，fs.defaultFS的值为hdfs://nna:9000。
检查Namenode、所有DataNode，将其9000端口打开。

打开9000端口的方法：

cd /
/sbin/iptables -I INPUT -p tcp --dport 9000 -j ACCEPT
/etc/init.d/iptables save
service iptables restart

datanode正常启动，可jps 没有datanode
先不必检查错因，可以再通过浏览器检查一遍。
在浏览器地址栏中输入http://nna:50070 ，其中nna为主机名。查看Live Nodes，笔者使用 jps未找到DataNode，但在浏览器中找到了。

2 wordCount失败时

运行至Running Job。。。一直卡在这里。
参考文献：hadoop2.7.x运行wordcount程序卡住在INFO mapreduce.Job: Running job:job _1469603958907_0002
笔者亲测，只修改了yarn-site.xml

参考文献：hadoop启动后通过jps查看进程datanode或namenode不存在问题解决

2 Wrong FS: hdfs://localhost:9000/output, expected: file:///

在定义一个FileSystem变量的时候伪分布式和单机版的方法是不一样的，单机版使用的是FileSystem类的静态函数：

Configuration conf = new Configuration();
FileSystem hdfs = FileSystem.get(conf)

伪分布式下需要使用Path来获得：

Configuration conf = new Configuration();
Path path = new Path("hdfs://nna:9000/input/hello.txt");//分布式文件系统 文件 的路径对象
FileSystem fs = path.getFileSystem(conf);//分布式文件对象

参考网址：
Hadoop Problem : Wrong FS: hdfs://localhost:9000/output, expected: file:///