hdfs文件读写bug2

最新推荐文章于 2024-12-06 09:39:42 发布
原创 最新推荐文章于 2024-12-06 09:39:42 发布 · 7.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在HDFS中，多个DFSClient尝试同时写入同一文件可能导致 Lease mismatch 和 No lease 异常。异常发生在客户端尝试添加块时，由于权限冲突和文件不存在。错误处理中不恰当的删除远程文件会导致额外的问题，如正在上传的文件被意外删除。解决办法应确保单个客户端对文件的独占写入或使用适当的锁同步机制。

  多DFSClient同时写同一个文件，可能会导致以下异常。其中一个会获取权限写，另外的应该会报异常。（但是获取权限的顺序不太确定，也么有深究）

 IOExceptionLease mismatch on  xxxxx owned by DFSClient_NONMAPREDUCE_230060699_8but is accessed by DFSClient_NONMAPREDUCE_1017678927_8

         atorg.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkLease(FSNamesystem.java:2949)

         atorg.apache.hadoop.hdfs.server.namenode.FSNamesystem.analyzeFileState(FSNamesystem.java:2754)

         atorg.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2662)

         atorg.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:584)

         atorg.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNa

最低0.47元/天 解锁文章
Hadoop系列——HDFS文件系统的理解
Bernard's
07-14 347
1 观看10小时大数据入门第3章，回答以下问题。 a、不管文件file多大，都将其存放在一个节点上，是否实现了冗余备份？ 在视频中，“不管文件file多大，都将其存放在一个节点上”指的是没有对文件进行拆分/分散存储。而不是指将文件只存放在一个单独的节点上。 单独把这句话拿出来，只将文件只存放在一个单独的节点上，显然没有实现冗余备份。 b、将文件file拷贝并存放在多个节点上，这样实现了冗余备份了吗？ 实现了冗余备份。 比如现在很多大厂会采用磁带定期进行全盘备份，磁带便宜，但是不方便进行随机读写，所以
Spark为什么读不了hdfs上的数据？如何解决？
最新发布
**My Coding Family**
12-16 1042
🏆本文收录于专栏，主要记录项目实战过程中所遇到的Bug或因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由🚀；同时，欢迎大家！持续更新中，up！up！up！！
Flume-ng的HdfsSink出现Lease mismatch错误
某先生的专栏
03-17 4478
多台Flume-ng Agent做HA，实际环境中出现Lease mismatch错误，具体报错如下： 11 Mar 2014 12:21:02,971 WARN [SinkRunner-PollingRunner-DefaultSinkProcessor] ( org.apache.flume.sink.hdfs.HDFSEventSink.process:418) - HDFS IO e
Hadoop错误: put: Lease mismatch on ... by DFSClient_NONMAPREDUCE_-499992815_1.... 学习总结
星月情缘的博客
10-29 3412
           错误总结分享:  使用了hadoop挺长时间了，多数人应该很熟悉它的特点了吧，但是今天突然遇到个错误，从来没见过，一时自己也想不到是什么原因，就在网上查了一些资料，得到了解决的办法，再次分享一下。                过程: 使用kettle 数据清洗工具在进行同步任务的过程中，最后数据是被加载到hdfs的，这里用shell脚本实现，hdfs  dfs  -put...
Hadoop浅解HDFS租约处理
Nobigo
02-26 2077
问题提出在HDFS中可能同时有多个客户端在同一时刻写文件，如果不进行控制的话，有可能多个客户端会并发的写一个文件，所以需要进行控制，一般的想法是用一个互斥锁，在某一时刻只有一个客户端进行写操作，但是在分布式系统中有如下问题： 每次写文件前，客户端需要向master获取锁情况，他们之间的网络通讯太频繁。 当某个客户端获取锁之后和master失去联系，这个锁一直被该客户端占据，master和其他客户端不
hadoop任务运行报错记录
分布式应用与服务器架构专栏
11-29 3187
org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on /order_closed_compress/_temporary/_attempt_201311152318_5890_m_000065_0/part-m-0006
HDFS超租约异常总结（org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException）
ankan7400的博客
11-10 966
HDFS超租约异常总结（org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException） 转载2014年02月22日 14:40:58 9686 异常信息： 13/09/11 12:12:06 INFO hdfs.DFSClient: SMALL_BUFFER_SIZE is 512 org.apa...
HDFS从Trash中删除大量小文件导致的读写受阻问题
小昌昌的博客
07-23 1200
我们一次普通的大目录删除(含有5 Million个小文件)，引发了HDFS的一次持续10分钟的读写不可用的线上事故。本文对这次事故进行了详细分析，主要从HDFS的架构本身，结合事故发生时NameNode、DataNode的各种监控指标，以NameNode端的锁控制为重要关注点，分析了HDFS对文件进行物理删除操作的整个处理过程，解释事故发生的整个过程中各个指征产生的根本原因。
深入解析HDFS：定义、架构、原理、应用场景及常用命令
web15185420056的博客
12-06 1535
HDFS是Hadoop生态系统中的一个分布式文件系统，旨在在集群的廉价硬件上可靠地存储大数据集。HDFS设计为高容错，并为高吞吐量数据访问而优化，适用于在商用硬件上运行的大数据应用。
Holder DFSClient_NONMAPREDUCE_-799791669_57 does not have any open files.
u011250186的博客
06-24 7335
flink程序报错: 2019-06-24 09:22:42,033 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Source: Custom Source -> Map -> Filter -> Map -> Filter -> Process -> Filte...
hadoop1.x问题总结
10-15 2309
1.启动hadoop、zookeeper、hbase后jps查看，服务已经都起来了。但是60010界面无法打开。50070正常，50030，nodes显示为0.查看日志：error: org.apache.hadoop.hdfs.server.namenode.SafeModeException:Cannot delete /home/hadoop/tmp/mapred/system. Name
Hadoop常见错误
aaaa3456789的博客
04-14 396
常见问题及处理 mysql版本，必须是MYSQL5.1。 查询办法mysqladmin version 在建立hive数据库的时候，最好是:create database hive; oozie的数据库，同样：create database oozie; hadoop采集的字符集问题。 修改/etc/sysconfig/i18n 更改字符集为en_US.UTF-8 重启机器...
HDFS写文件出现的异常
Easy_Wly
06-28 1360
HDFS写文件出现的异常 问题描述 当往hdfs里面写入文件时，输出流如果异常关闭，会导致hdfs认为当前client仍然持有当前租约，当下一次获取同一文件的输出流时，会认为当前client在重复创建file。 错误信息 because current leaseholder is trying to recreate file 或者： because this file lease is currently owned by DFSClient_NONMAPREDUCE_-502044238_1 on …
hbase0.9x问题总结
02-22 3993
1.最近hbase的rgion经常挂掉一个，查看该节点日志发现如下错误： 2014-02-22 01:52:02,194 ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: Close and delete failed org.apache.hadoop.hdfs.server.namenode.LeaseExpiredExce
No lease on xxxx.txt (inode 43285976): File does not exist. Holder DFSClient_NONMAPR
u010791030的博客
07-13 3446
文件上传到hdfs，同时操作一个文件会报错 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on /xx/xx/xx/xx/xx/xxxx.txt (inode 43285976): File does not exist. ...
hbase常见问题及解决方案(二)
热门推荐
....
04-20 1万+
hbase常见问题总结二 之前介绍了工作中遇到的一些比较基础的问题,下面介绍一些看起来没有那么简单的问题 1. 类找不见的问题!(自己写的类找不见的问题!) 出现该问题的情形: hbase和hadoop的hdfs,mapreduce整合使用的时候: 18/04/16 18:25:06 INFO mapreduce.JobSubmitter: Cleaning up the stag...
flume系列之：Error while trying to hflushOrSync和Lease. Holder: DFSClient_NONMAPREDUCE
zhengzaifeidelushang的博客
11-01 1287
flume系列之：Error while trying to hflushOrSync和Lease. Holder: DFSClient_NONMAPREDUCE
Python开发者的HDFS工具：dbnd-hdfs-0.66.2库介绍
开发者可以通过这个库来实现对HDFS文件的读写操作，而不必深入学习Java等其他语言的相关知识。这对于那些熟悉Python，但希望利用Hadoop的分布式存储和计算能力处理大数据的开发者来说，是一个非常好的工具。 最后，...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值