fs.FSInputChecker: Found checksum error

最新推荐文章于 2024-02-08 01:42:27 发布

skydreamer01

最新推荐文章于 2024-02-08 01:42:27 发布

阅读量4.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： MapReduce 文章标签： hadoop path 磁盘 mapreduce url 任务

本文链接：https://blog.youkuaiyun.com/skydreamer01/article/details/7729069

MapReduce 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一个Hadoop MapReduce任务中出现的ChecksumException错误，详细解释了错误产生的原因和具体的解决办法，包括如何避免在上传文件时因校验失败而导致任务执行失败。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在一个MapReduce任务中，发现以下错误：

KejetLogETL ... t=(16:28:51)
12/07/06 16:28:52 INFO fs.FSInputChecker: Found checksum error: b[0, 512]=30303030303030303030313009353335330a3030303337463846444644
41093331360a303030384341383341413644093633390a303031314438303132333435093232370a303031333737414245414131093239380a303031353631353232
324437093231320a303031364536464536394239093331370a303031453130314632343633093235370a303031453130314633353334093335350a30303145313031
4636433436093335330a303031453130314641314635093937310a303031463343423930433236093431310a303032364337373938304441093330380a3030453034
43333630303143093239330a303045303443333630303238093238300a303045303443333630303341093336340a303045303443333630303436093339320a303045
303443333630303634093238320a303045303443333630303832093239340a303045303443333630313039093230380a303045303443333630313845093230380a30
3045303443333632334633093339390a303045303443393739414144093334350a303045303632303341344630093238310a30304530363232333135353009323134
0a343438374643463642433234093230320a36303530343033303230313009313130370a363841334334413042363336093438320a36434630343938323431453509
3231300a373035414236354633434136093232340a
org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hadoop-disk9/muse/0.1.0/kejet_stat/files/bad_macs at 0
at org.apache.hadoop.fs.FSInputChecker.verifySum(FSInputChecker.java:277)
at org.apache.hadoop.fs.FSInputChecker.readChecksumChunk(FSInputChecker.java:241)
at org.apache.hadoop.fs.FSInputChecker.read1(FSInputChecker.java:189)
at org.apache.hadoop.fs.FSInputChecker.read(FSInputChecker.java:158)
at java.io.DataInputStream.read(DataInputStream.java:83)
at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:68)
at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:47)
at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:100)
at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:230)
at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:163)
at org.apache.hadoop.mapred.JobClient.copyRemoteFiles(JobClient.java:627)
at org.apache.hadoop.mapred.JobClient.copyAndConfigureFiles(JobClient.java:713)
at org.apache.hadoop.mapred.JobClient.copyAndConfigureFiles(JobClient.java:655)
at org.apache.hadoop.mapred.JobClient.access$300(JobClient.java:174)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:865)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:850)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:850)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:500)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:530)
at com.funshion.muse.etl.KejetLogETL.run(KejetLogETL.java:181)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at com.funshion.muse.etl.KejetLogETL.main(KejetLogETL.java:198)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
12/07/06 16:28:52 INFO mapred.JobClient: Cleaning up the staging area hdfs://muse0:8020/home/hadoop/tmp/mapred/staging/hadoop/.stagi
ng/job_201206211535_0461
12/07/06 16:28:52 ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:org.apache.hadoop.fs.ChecksumExcep
tion: Checksum error: file:/hadoop-disk9/muse/0.1.0/kejet_stat/files/bad_macs at 0

网上找到一篇文章，看了这篇文章后就可以知道以上错误产生的根源及解决方案了！
http://www.cnblogs.com/gpcuster/archive/2011/01/26/1945363.html

HADOOP中的CRC数据校验文件

Hadoop系统为了保证数据的一致性，会对文件生成相应的校验文件，并在读写的时候进行校验，确保数据的准确性。
比如我们遇到的这个Case：
执行的命令：
hadoop jar dw-hadoop-2010_7_23.jar jobDriver -files tb_steps_url_path_dim.txt multisteps_output 2011-01-25
出错日志的提示：
org.apache.hadoop.fs.ChecksumException: Checksum error: file:tb_steps_url_path_dim.txt at 0
at org.apache.hadoop.fs.FSInputChecker.verifySum(FSInputChecker.java:277)
at org.apache.hadoop.fs.FSInputChecker.readChecksumChunk(FSInputChecker.java:241)
at org.apache.hadoop.fs.FSInputChecker.read1(FSInputChecker.java:189)
at org.apache.hadoop.fs.FSInputChecker.read(FSInputChecker.java:158)
at java.io.DataInputStream.read(DataInputStream.java:83)
at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:49)
at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:87)
at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:209)
at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:142)
at org.apache.hadoop.mapred.JobClient.copyRemoteFiles(JobClient.java:565)
at org.apache.hadoop.mapred.JobClient.configureCommandLineOptions(JobClient.java:627)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:802)
at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:771)
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1290)
at jobDriver.run(jobDriver.java:85)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
at jobDriver.main(jobDriver.java:124)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
错误原因：
启动任务的命令中包含一个参数“-files tb_steps_url_path_dim.txt”
Hadoop客户端需要将机器本地磁盘中的tb_steps_url_path_dim.txt文件上传到DFS中。
在上传的过程中，Hadoop将通过FSInputChecker判断需要上传的文件是否存在进行校验的crc文件，即.tb_steps_url_path_dim.txt.crc，如果存在crc文件，将会对其内容一致性进行校验，如果校验失败，则停止上传该文件。最终导致整个MR任务无法执行。
crc文件来源
DFS命令：hadoop fs -getmerge srcDir destFile
这类命令在执行的时候，会将srcDir目录下的所有文件合并成一个文件，保存在destFile中，同时会在本地磁盘生成一个. destFile.crc的校验文件。
DFS命令：hadoop fs -get -crc src dest
这类命令在执行的时候，会将src文件，保存在dest中，同时会在本地磁盘生成一个. dest.crc的校验文件。
如何避免
在使用hadoop fs -getmerge srcDir destFile命令时，本地磁盘一定会（没有参数可以关闭）生成相应的.crc文件。
所以如果需要修改getmerge获取的文件的内容，再次上传到DFS时，可以采取以下2种策略进行规避：
1. 删除.crc文件
2. 将getmerge获取的文件修改后重新命名，如使用mv操作，再次上传到DFS中。
更多关于Hadoop的文章，可以参考：http://www.cnblogs.com/gpcuster/tag/Hadoop/

(1-1/1)