【HADOOP】java.lang.Exception: org.apache.hadoop.fs.ChecksumException: Checksum error错误

最新推荐文章于 2024-02-08 01:42:27 发布
最新推荐文章于 2024-02-08 01:42:27 发布
阅读量2.3k 收藏 1
点赞数
分类专栏： hadoop 文章标签： hadoop mapreduce hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sdut406/article/details/89518840
版权
问题描述

再一次本地测试mapreduce任务的时候，用到了一些导出的文件，但是这些文件很大我就直接做了删减，导致在使用时爆出java.lang.Exception: org.apache.hadoop.fs.ChecksumException: Checksum error错误
在这里插入图片描述

问题原因

因为我修改了文件内容，导致CRC校验文件校验失败。hadoop在使用文件的时候如果文件夹内有CRC文件，就会做校验的。
在这里插入图片描述

解决办法

删掉CRC文件就可以了，如果你的文件没有改动，校验就会成功，也不会报出来这个错误的。

问题报错org.apache.hadoop.fs.ChecksumException: Checksum error: file:/F:/part-r-00000（已解决)
艳阳如一
07-10 2546
文章目录问题样例简单粗暴的解决办法 问题样例 org.apache.hadoop.fs.ChecksumException: Checksum error: file:/F:/design/userOfResult/part-r-00000 at 0 exp: -1229056335 got: 168623484 at org.apache.hadoop.fs.FSInputChecker.ve...
HDFS上传文件报错org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt
weixin_45102492的博客
02-18 922
当从本地上传文件到HDFS中时报错 fs.FSInputChecker: Found checksum error: b[0, 69]=6d6f77656968616861686168616868616686168616861686861680a org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.t...
org.apache.hadoop.fs.ChecksumException:Checksum error（hadoop put指令用不了报错）
Mr_Bright的博客
09-05 1986
从本地上传文件bb到集群报如下异常： org.apache.hadoop.fs.ChecksumException:Checksum put: Checksum error: file:/etc/profile at 2048 exp: -925270806 got: 536193734 hadoop客户端将本地文件bb上传到集群上时,会通过fs.FSInputChecker判断需要上传的文件是否存在.crc校验文件。 如果存在.crc校验文件，则会进行校验。如果校验失败，就不 会上传该文件。 解决方法
java.io.IOException:org.apache.hadoop.fs.ChecksumException: Checksum error 校验和（checksum）出现异常
统木木的博客
09-17 6708
在查询hive中的数据时，报如下错误： 错误原因： 从提示用可以看出是：CheckSumException ，即 校验和异常，出现该错误的原因：存储的数据与hadoop系统为该数据生成的校核和数据不一致导致错误，说白了，就是你存储的数据出现问题了，如：人为手动更改了数据，网络不稳定以及硬件损坏等因素导致的。本博客是我自己为了复现这个错误，特地更改了hive上的源数据。 如上图，我是通...
org.apache.hadoop.fs.ChecksumException: Checksum error
bitcarmanlee的博客
03-24 7249
想put文件到hdfs上，遇到org.apache.hadoop.fs.ChecksumException: Checksum error的为本土 hadoop fs -put cheap_all /tmp/wanglei/cheap 16/03/24 09:27:52 INFO fs.FSInputChecker: Found checksum error: b[0, 4096]=313
Spark加载放在Tomcat容器中的mlib模型报错：org.apache.hadoop.fs.ChecksumException
chenxiao_ji的专栏
09-13 2122
一、问题 使用Intellij IDEA构建工程，将spark mlib训练的模型放到resources下，训练的模型包括data和metadata两个部分，其中在程序加载metadata时，报校验和异常。Java代码加载模型的代码如下： SparkConf conf = new SparkConf().setMaster("local").setAppName("modelPredict")
风控项目异常记录：
fengfengchen95的博客
11-21 1529
1.java.lang.NoClassDefFoundError: org/apache/spark/api/java/function/Function0 at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:270...
org.apache.hadoop.fs.ChecksumException:Checksum error
BD_ZZQ的博客
10-14 1478
从本地上传文件bb到集群报如下异常： org.apache.hadoop.fs.ChecksumException:Checksum error: file:/home/gznc/bb at 0 exp:30912436 got:- 1325419952
spark踩坑org.apache.hadoop.fs.ChecksumException: Checksum error: file:&ERROR Executor: Exception
wt334502157的博客
08-23 1076
22/08/23 11:11:21 ERROR Executor: Exception in task 0.0 in stage 1.0 (TID 3) org.apache.hadoop.fs.ChecksumException: Checksum error: file:/home/wangting/abcd.txt at 0 exp: 400493684 got: -867269390 at org.apache.hadoop.fs.FSInputChecker.verifySums(FSInput
MapperReducer中出现java.lang.Exception: java.io.EOFException和org.apache.hadoop.fs.ChecksumExceptio的问题解决
Oceanside_yh的博客
11-17 679
1）java.lang.Exception: java.io.EOFException 数据类型要一致！！！   2）org.apache.hadoop.fs.ChecksumException: Checksum error Hadoop客户端将本地文件file上传到hdfs上时，hadoop会通过fs.FSInputChecker判断需要上传的文件是否存在.crc校验文件。如果...
大数据 排错日记0003——org.apache.hadoop.fs.ChecksumException: Checksum error
我是jjking`
03-05 500
报错信息 2020-03-05 12:05:57,079 INFO [org.apache.hadoop.conf.Configuration.deprecation] - session.id is deprecated. Instead, use dfs.metrics.session-id 2020-03-05 12:05:57,080 INFO [org.apache.hadoop....
Spark访问Linux本地文件，计算文件行数报错：org.apache.hadoop.fs.ChecksumException: Checksum error
集腋成裘，聚沙成塔
12-31 572
在通过Spark访问Linux本地文件，计算文件行数的时候报了org.apache.hadoop.fs.ChecksumException: Checksum error 错误，网上看到一篇文章，我暂时看不太明白。大家要解决 Checksum error 这个问题的话把 crc文件给删了就行。（问题解决了，记得点赞哟） ...
Hadoop集群，报java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
Jameslvt的博客
07-05 2319
跑任务先生，在Hadoop的集群，报错误：了java.lang.RuntimeException：PipeMapRed.waitOutputThreads（）：子与代码1未能        在org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads（PipeMapRed.java:322）        在org.apache.hadoop....
fs.FSInputChecker: Found checksum error
老好人(廖海仁）的专栏
07-09 4886
在一个MapReduce任务中，发现以下错误： KejetLogETL ... t=(16:28:51) 12/07/06 16:28:52 INFO fs.FSInputChecker: Found checksum error: b[0, 512]=30303030303030303030313009353335330a3030303337463846444644 4109333
org.apache.hadoop.fs.ChecksumException: Checksum error: file:/root/test.txt at 0
qq_46345319的博客
02-08 496
上传文件到集群遇到以下异常：org.apache.hadoop.fs.ChecksumException: Checksum error: file:/root/test.txt at 0。解决方法：找到你要上传文件的路径，如图所示，要上传的文件test.txt存放在/root下。cd /root 将 .test.txt.crc文件删除，删除后重新上传即可。
SpringBoot远程提交任务到Hadoop集群报错java.lang.ClassNotFoundException: Class zut.edu.mapreduce.DeptMapper not
weixin_45102492的博客
02-26 411
在SpringBoot中编写MapReduce程序，并提交任务到集群，我实在本地调试的，一开始使用的是IntelliJ IDEA 2019.3 x64的右侧的Maven直接package直接打包，结果报错如下： Error: java.lang.RuntimeException: readObject can't find class at org.apache.hadoop.mapreduce.lib.input.TaggedInputSplit.readClass(TaggedInputSplit.j
hadoop Checksum校验的一个小问题
陆云子安的专栏
06-07 4118
今天使用下面的命令读取文件的时候val train_male = sc.textFile("file:\\E:\\m\\part-00000")读取数据的时候，报了下面的错误 org.apache.hadoop.fs.ChecksumException: Checksum error 后来查资料发现，这个和Checksum校验有问题，查看目录，发现保存的数据里面果然有.part-00000.cr
Caused by: org.apache.hadoop.hive.gl.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate
最新发布
01-10
`FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient` 错误通常...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值