【解决】fs.FSInputChecker: Found checksum error

原创 已于 2023-03-15 16:12:46 修改 · 785 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs #大数据

于 2023-03-15 16:12:04 首次发布
当通过HDFS上传文件遇到fs.FSInputChecker:Foundchecksumerror的问题时，可以尝试删除相关的CRC校验文件，或者对文件进行重新命名以解决该问题。具体操作包括使用find命令查找并删除crc校验文件，以及简单地更改文件名。

文章目录

1.问题

通过HDFS上传文件时，上传失败，并报错“fs.FSInputChecker: Found checksum error”
在这里插入图片描述

2.解决方案

1.删除相应crc校验文件

# 找到相应crc校验文件
find -name *.crc
# 再将其删除即可
rm -rf [path]

2.重新命名文件即可

HDFS 拷贝本地文件至HDFS时的异常[INFO fs.FSInputChecker: Found checksum error]处理方法
DaviHao
03-26 1825
boolean deleteSource = false; boolean overwrite = true; boolean returnValue = false; Configuration hdfsconf = new Configuration(); hdfsconf.addResource(new Path("/usr/local/hadoop/conf/cor
问题报错org.apache.hadoop.fs.ChecksumException: Checksum error: file:/F:/part-r-00000（已解决)
艳阳如一
07-10 2622
文章目录问题样例简单粗暴的解决办法 问题样例 org.apache.hadoop.fs.ChecksumException: Checksum error: file:/F:/design/userOfResult/part-r-00000 at 0 exp: -1229056335 got: 168623484 at org.apache.hadoop.fs.FSInputChecker.ve...
HDFS上传文件报错org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt
01-07
当从本地上传文件到HDFS中时报错 fs.FSInputChecker: Found checksum error: b[0, 69]=6d6f77656968616861686168616868616686168616861686861680a org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt [root@node01 data]# hadoop fs -put hyk.txt /hyk/test 20/02/18 12:54:39 INFO fs.FSInputChecker: Fo
fs.FSInputChecker: Found checksum error
老好人(廖海仁）的专栏
07-09 4935
在一个MapReduce任务中，发现以下错误： KejetLogETL ... t=(16:28:51) 12/07/06 16:28:52 INFO fs.FSInputChecker: Found checksum error: b[0, 512]=30303030303030303030313009353335330a3030303337463846444644 4109333
INFO fs.FSInputChecker: Found checksum error:
qq_30657195的博客
03-07 748
异常： 19/03/07 00:38:05 INFO fs.FSInputChecker: Found checksum error: b[0, 81]=7a6169796971690a7a61692079692071690a7a616979692071690a7a6169202020796971690a7a6169796971690a7a616920796971690a7a61697969207...
Hadoop：HDFS – java.lang.NoSuchMethodError：org.apache.hadoop.fs.FSOutputSummer。（Ljava / util / zip / ...
最佳 Java 编程
06-23 531
我想编写一个小程序来检查一台机器是否可以与在另一台机器上运行的HDFS服务器进行通信，并修改Hadoop Wiki中的某些代码 ，如下所示： package org.playground; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import ...
Exynos4412 Linux Kernel 5.15移植过程记录（一）——解决编译内核出现mpc.h: gmp.h: No such file or director问题
weixin_42408707的博客
01-15 3695
Exynos4412 Linux Kernel移植过程记录（一）解决编译内核出现mpc.h: gmp.h: No such file or director问题
Hadoop put file 错误：fs.FSInputChecker: Found checksum error
FA的博客
03-30 546
Hadoop put file 错误：fs.FSInputChecker: Found checksum error 参考网址： https://www.cnblogs.com/gpcuster/archive/2011/01/26/1945363.html 错误原因： 启动任务的命令中包含一个参数“-files tb_steps_url_path_dim.txt” Hadoop客户端需要将机器本...
org.apache.hadoop.fs.ChecksumException: Checksum error
bitcarmanlee的博客
03-24 7327
想put文件到hdfs上，遇到org.apache.hadoop.fs.ChecksumException: Checksum error的为本土 hadoop fs -put cheap_all /tmp/wanglei/cheap 16/03/24 09:27:52 INFO fs.FSInputChecker: Found checksum error: b[0, 4096]=313
org.apache.hadoop.fs.FSInputChecker - Problem opening checksum file
鸭梨的博客
01-15 428
WARN org.apache.hadoop.fs.FSInputChecker - Problem opening checksum file: /common/nlp/data/dictionary/custom/CustomDictionary.txt.bin. Ignoring exception: java.io.EOFException at java.io.DataInputStream.readFully(DataInputStream.java:197) at java.io.Dat
Hdfs 客户端读过程 源码解析
METON的博客
08-12 1129
说到hdfs文件系统上的读文件流程，相信大家都不会陌生，都会知道读取文件的过程如下的示意图： 客户端读过程示意图： 其基本的读取流程如下： 客户端通过调用FileSystem对象的open()方法来打开hdfs上的文件，这个方法在底层会调用ClientProtocol.open()方法，该方法会返回一个HdfsDataInputStream对象用于读取数据块。HdfsDataInputStream是一个DFSInputStream的装饰类，真正进行数据块读取操作的是DFSInputSt...
java hadoop 超时_hadoop map端的超时参数
weixin_34512840的博客
02-27 620
Report progressIf your task reports no progress for 10 minutes (see themapred.task.timeoutproperty) then it will be killed by Hadoop. Most tasks don’t encounter this situation since they report prog...
HDFS(2)
陈先生-HDU的博客
12-08 440
HDFS中读文件过程，如上图所示。 1.打开一个分布式文件系统，也就是API中的filesystem.get()方法，获得一个文件系统实例。 2.通过fs的open方法，fs会通过RPC来调用nn，通过方法传入的文件名称，会在nn中得到blocksequence中的一批block信息。 3.
Mac OS添加开机启动项plist文件无效 返回错误码126 报错operation not permitted
Blue
07-23 1667
Mac OS添加开机启动项plist文件无效 返回错误码126 报错operation not permitted
[cdp2stg_bi@emr-header-1 ~]$ hdfs dfs -rm -r oss://cdp-pri-push-data-stg/ads_sr/ads_rpt_sal_ncs_leads_to_order_sales_dealer_ssa_t/ 25/11/12 16:28:01 INFO Configuration.deprecation: io.bytes.per.checksum is deprecated. Instead, use dfs.bytes-per-checksum 25/11/12 16:28:01 WARN jboot.JbootLogger: OssGetFileStatusCall.hpp:53] Failed to GetFileStatus user/cdp2stg_bi/.Trash/Current/ads_sr/ads_rpt_sal_ncs_leads_to_order_sales_dealer_ssa_t1762936081583 files from bucket cdp-pri-push-data-stg, errorCode: 25002, errorMessage: File not found: user/cdp2stg_bi/.Trash/Current/ads_sr/ads_rpt_sal_ncs_leads_to_order_sales_dealer_ssa_t1762936081583 in bucket cdp-pri-push-data-stg 25/11/12 16:28:01 WARN jboot.JbootLogger: OssGetFileStatusCall.hpp:53] Failed to GetFileStatus user/cdp2stg_bi/.Trash/Current/ads_sr/ads_rpt_sal_ncs_leads_to_order_sales_dealer_ssa_t1762936081583 files from bucket cdp-pri-push-data-stg, errorCode: 25002, errorMessage: File not found: user/cdp2stg_bi/.Trash/Current/ads_sr/ads_rpt_sal_ncs_leads_to_order_sales_dealer_ssa_t1762936081583 in bucket cdp-pri-push-data-stg 25/11/12 16:28:01 INFO fs.TrashPolicyDefault: Moved: 'oss://cdp-pri-push-data-stg/ads_sr/ads_rpt_sal_ncs_leads_to_order_sales_dealer_ssa_t' to trash at: oss://cdp-pri-push-data-stg/user/cdp2stg_bi/.Trash/Current/ads_sr/ads_rpt_sal_ncs_leads_to_order_sales_dealer_ssa_t1762936081583这啥意思
最新发布
11-13
pri-push-data-stg, errorCode: 25002, errorMessage: File not found: user/cdp2stg_bi/.Trash/Current/ads_sr/ads_rpt_sal_ncs_leads_to_order_sales_dealer_ssa_t1762936081583 in bucket cdp-pri-push-data-stg ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Silver Star

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值