hadoop遇到的问题记录

本文记录了在使用Hadoop过程中遇到的一些问题,包括JobTracker启动异常、HDFS操作失败、MapReduce作业执行中出现的错误,如shuffle阶段fetch#1错误、output文件已存在等问题,以及DiskErrorException的具体信息,旨在帮助开发者诊断并解决Hadoop集群运行中的常见故障。

1、jobtracker启动不正常报错、hdfs无法使用(比如执行一个操作文件命令就报错:only be replicated to 0 nodes, instead of 1)

 2012-07-23 00:00:05,244 WARN     org.apache.hadoop.mapred.JobTracker: Retrying...
   2 2012-07-23 00:00:05,266 WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception: java.io.IOException: File /tmp/hadoop-root/mapred/system/jobtracker.info cou     ld only be replicated to 0 nodes, instead of 1
2012-07-23 00:00:05,267 WARN org.apache.hadoop.mapred.JobTracker: Writing to file hdfs://127.0.0.1:9000/tmp/hadoop-root/mapred/system/jobtracker.info failed!
  30 2012-07-23 00:00:05,268 WARN org.apache.hadoop.mapred.JobTracker: FileSystem is not ready yet!
  31 2012-07-23 00:00:05,271 WARN org.apache.hadoop.mapred.JobTracker: Failed to initialize recovery manager.
我的问题分析:当时也在网上找解决办法,有人就这个
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值