hadoop遇到的问题记录

最新推荐文章于 2025-04-24 21:24:24 发布

wfp458113181wfp

最新推荐文章于 2025-04-24 21:24:24 发布

阅读量1.7w

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/wfp458113181wfp/article/details/8611218

本文记录了在使用Hadoop过程中遇到的一些问题，包括JobTracker启动异常、HDFS操作失败、MapReduce作业执行中出现的错误，如shuffle阶段fetch#1错误、output文件已存在等问题，以及DiskErrorException的具体信息，旨在帮助开发者诊断并解决Hadoop集群运行中的常见故障。

1、jobtracker启动不正常报错、hdfs无法使用(比如执行一个操作文件命令就报错：only be replicated to 0 nodes, instead of 1）

2012-07-23 00:00:05,244 WARN org.apache.hadoop.mapred.JobTracker: Retrying...
2 2012-07-23 00:00:05,266 WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception: java.io.IOException: File /tmp/hadoop-root/mapred/system/jobtracker.info cou ld only be replicated to 0 nodes, instead of 1
2012-07-23 00:00:05,267 WARN org.apache.hadoop.mapred.JobTracker: Writing to file hdfs://127.0.0.1:9000/tmp/hadoop-root/mapred/system/jobtracker.info failed!
30 2012-07-23 00:00:05,268 WARN org.apache.hadoop.mapred.JobTracker: FileSystem is not ready yet!
31 2012-07-23 00:00:05,271 WARN org.apache.hadoop.mapred.JobTracker: Failed to initialize recovery manager.
我的问题分析：当时也在网上找解决办法，有人就这个