AppendEC报错

最新推荐文章于 2024-07-22 13:21:48 发布
最新推荐文章于 2024-07-22 13:21:48 发布
阅读量504 收藏 1
点赞数 1
分类专栏： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/answer100answer/article/details/104024361
版权

测试报告

1.场景还原

使用appendEC操作(参考HDFS-14581 test)：

public static void appendTest() throws IOException{
        Path file = new Path(dir, "appendTest-1");
	// Create file
	FSDataOutputStream out = dfs.create(file);
	out.write("testAppendWithoutNewBlock\n".getBytes());
	out.close();
	// Append file
	try {
		out = dfs.append(file, EnumSet.of(CreateFlag.APPEND), 4096, null);
		out.write("testAppendWithoutNewBlock2".getBytes());
	} catch (Exception e) {
		throw e;
	}
}

客户端异常

[hadoop@bigdata-nmg-hdfstest13.nmg01 ~/whb]$ hadoop jar demo-mr-1.0-SNAPSHOT-jar-with-dependencies.jar
Exception in thread "main" org.apache.hadoop.ipc.RemoteException(java.lang.UnsupportedOperationException): Append on EC file without new block is not supported.
	at org.apache.hadoop.hdfs.server.namenode.FSDirAppendOp.prepareFileForAppend(FSDirAppendOp.java:190)
	at org.apache.hadoop.hdfs.server.namenode.FSDirAppendOp.appendFile(FSDirAppendOp.java:135)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.appendFile(FSNamesystem.java:2735)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.append(NameNodeRpcServer.java:842)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.append(ClientNamenodeProtocolServerSideTranslatorPB.java:493)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1025)
	at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:886)
	at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:828)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1903)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2717)

	at org.apache.hadoop.ipc.Client.call(Client.java:1503)
	at org.apache.hadoop.ipc.Client.call(Client.java:1441)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229)
	at com.sun.proxy.$Proxy10.append(Unknown Source)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.append(ClientNamenodeProtocolTranslatorPB.java:332)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:253)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:101)
	at com.sun.proxy.$Proxy11.append(Unknown Source)
	at org.apache.hadoop.hdfs.DFSClient.callAppend(DFSClient.java:1811)
	at org.apache.hadoop.hdfs.DFSClient.append(DFSClient.java:1880)
	at org.apache.hadoop.hdfs.DFSClient.append(DFSClient.java:1850)
	at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:395)
	at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:391)
	at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
	at org.apache.hadoop.hdfs.DistributedFileSystem.append(DistributedFileSystem.java:403)
	at cn.whbing.hadoop.ec.AppendECTest.appendTest(AppendECTest.java:57)
	at cn.whbing.hadoop.ec.AppendECTest.main(AppendECTest.java:25)

SNN异常

  • ANN
2020-01-15 21:15:57,957 WARN org.apache.hadoop.ipc.Server: IPC Server handler 3 on 8020, call Call#4 Retry#0 org.apache.hadoop.hdfs.protocol.ClientProtocol.append from 10.83.78.58:56180
java.lang.UnsupportedOperationException: Append on EC file without new block is not supported.
        at org.apache.hadoop.hdfs.server.namenode.FSDirAppendOp.prepareFileForAppend(FSDirAppendOp.java:190)
        at org.apache.hadoop.hdfs.server.namenode.FSDirAppendOp.appendFile(FSDirAppendOp.java:135)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.appendFile(FSNamesystem.java:2735)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.append(NameNodeRpcServer.java:842)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.append(ClientNamenodeProtocolServerSideTranslatorPB.java:493)
        at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1025)
        at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:886)
        at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:828)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1903)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2717)
  • 随后Standby挂掉（60分钟后），NameNodeLog异常：
2020-01-15 22:17:57,720 ... to transaction ID 144098821
2020-01-15 22:17:57,737 ERROR org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader: Encountered exception on operation CloseOp [length=0, inodeId=0, path=/user/wanghongbing/ec/appendTest-1, replication=1, mtime
=1579097758258, atime=1579094157672, blockSize=134217728, blocks=[blk_-9223372036854775776_28378092], permissions=hadoop:supergroup:rw-r--r--, aclEntries=null, clientName=, clientMachine=, overwrite=false, storag
ePolicyId=0, erasureCodingPolicyId=0, opCode=OP_CLOSE, txid=144098822]
java.io.IOException: File is not under construction: /user/wanghongbing/ec/appendTest-1
        at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.applyEditLogOp(FSEditLogLoader.java:476)
        at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadEditRecords(FSEditLogLoader.java:258)
        at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadFSEdits(FSEditLogLoader.java:161)
        at org.apache.hadoop.hdfs.server.namenode.FSImage.loadEdits(FSImage.java:898)
        at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer.doTailEdits(EditLogTailer.java:329)
        at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer$EditLogTailerThread.doWork(EditLogTailer.java:460)
        at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer$EditLogTailerThread.access$300(EditLogTailer.java:410)
        at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer$EditLogTailerThread$1.run(EditLogTailer.java:427)
        at org.apache.hadoop.security.SecurityUtil.doAsLoginUserOrFatal(SecurityUtil.java:484)
        at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer$EditLogTailerThread.run(EditLogTailer.java:423)
2020-01-15 22:17:57,738 ERROR org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer: Unknown error encountered while tailing edits. Shutting down standby NN.
java.io.IOException: File is not under construction: /user/wanghongbing/ec/appendTest-1
        at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.applyEditLogOp(FSEditLogLoader.java:476)
        at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadEditRecords(FSEditLogLoader.java:258)
        at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadFSEdits(FSEditLogLoader.java:161)
        at org.apache.hadoop.hdfs.server.namenode.FSImage.loadEdits(FSImage.java:898)
        at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer.doTailEdits(EditLogTailer.java:329)
        at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer$EditLogTailerThread.doWork(EditLogTailer.java:460)
        at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer$EditLogTailerThread.access$300(EditLogTailer.java:410)
        at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer$EditLogTailerThread$1.run(EditLogTailer.java:427)
        at org.apache.hadoop.security.SecurityUtil.doAsLoginUserOrFatal(SecurityUtil.java:484)
        at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer$EditLogTailerThread.run(EditLogTailer.java:423)
2020-01-15 22:17:57,751 INFO org.apache.hadoop.hdfs.server.namenode.FSImage: FSImageSaver clean checkpoint: txid=144098277 when meet shutdown.
...
2020-01-15 22:17:57,751 INFO org.apache.hadoop.hdfs.server.namenode.FSImage: FSImageSaver clean checkpoint: txid=144089742 when meet shutdown.
2020-01-15 22:17:57,751 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at bigdata-nmg-hdfsmaster02.nmg01.diditaxi.com/10.83.75.42
************************************************************/
异常分析

通过hdfs oev查看ANN的当日全部editLog，搜索相关路径，全部有关的操作如下：

  • Jan 15 21:17操作(edits_0000000000144098698-0000000000144098704.xml)
- <OPCODE>OP_START_LOG_SEGMENT</OPCODE>
- <OPCODE>OP_ADD</OPCODE>
- <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
- <OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
- <OPCODE>OP_ADD_BLOCK</OPCODE>
- <OPCODE>OP_CLOSE</OPCODE>
- <OPCODE>OP_END_LOG_SEGMENT</OPCODE>
  • Jan 15 22:17操作(edits_0000000000144098821-0000000000144098823.xml)
- <OPCODE>OP_START_LOG_SEGMENT</OPCODE>
- <OPCODE>OP_CLOSE</OPCODE>
- <OPCODE>OP_END_LOG_SEGMENT</OPCODE>

而最后一个CLOSE在整整一个小时候后执行，初步判断是租约超过硬限制强制close而生成，查看ANN log：

2020-01-15 22:15:58,257 INFO org.apache.hadoop.hdfs.server.namenode.LeaseManager: [Lease.  Holder: DFSClient_NONMAPREDUCE_-848910938_1, pending creates: 1] has expired hard limit
2020-01-15 22:15:58,257 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Recovering [Lease.  Holder: DFSClient_NONMAPREDUCE_-848910938_1, pending creates: 1], src=/user/wanghongbing/ec/appendTest-1

2.代码梳理

FSDirAppendOp.java

appendFile(){
  // ① 获得一个租约
  fsn.recoverLeaseInternal(RecoverLeaseOp.APPEND_FILE...)
  // ② 预处理方法
  prepareFileForAppend(){
    // 改变文件为UnderConstruction状态
    file.toUnderConstruction(leaseHolder, clientMachine);
    // ③ 判断是EC文件且非新块的append时抛出异常
      if (!newBlock) {
        if (file.isStriped()) 
          throw new UnsupportedOperationException(...)
      }
  }
}

patch的改动是将上述③移动到①之前，提前抛出异常，不进行获得租约操作，从而不会产生租约超过1小时硬释放问题。

3.修复测试

  • 1.先使用skip-ec-close临时包启动将ANN和SNN启动一段时间，将editlog中的错误的那条记录跳过。（必须执行，线上已经上过了，跳过此步）
  • 2.将SNN和ANN切换到新的修复后的包。
  • 3.使用EC Append测试，如下：
[hadoop@bigdata-nmg-hdfstest13.nmg01 ~]$ hadoop fs -appendToFile - /user/wanghongbing/ec/test2
appendToFile: Append on EC file without new block is not supported. Use NEW_BLOCK create flag while appending file.
[hadoop@bigdata-nmg-hdfstest13.nmg01 ~]$ hdfs fsck /user/wanghongbing/ec/test2 -openforwrite
FSCK started by hadoop(null) (auth:SIMPLE) from /10.83.78.58 for path /user/wanghongbing/ec/test at Fri Jan 17 14:26:40 CST 2020

测试指标

  • 没有显示OPENFORWRITE，表明抛出异常时，文件已经关闭。不会再进行租约硬释放。符合预期。
  • 观察ANN和SNN 60分钟后正常运行,namenode log无异常。

4.小结

问题梳理如下：

1.向ec block进行append操作，客户端及NN抛出异常；
2.抛出异常前，NN进行了一次add租约操作，这是出问题的关键。由于append异常，文件处于openforwrite状态，而实际上并未开始写操作，块并未切换到UNDER_CONSTRUCTION状态；
3.60分钟后，租约超过hard limit，强制close文件，editlog记录该操作；
4.SNN同步editlog时，发现对未UNDER_CONSTRUCTION的文件进行close，挂掉。
hbase hregion server 异常退出排查
10-28 4586
---HBASE日志 2017-10-25 23:01:15,788 INFO  [JvmPauseMonitor] util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC): pause of approximately 2907ms GC pool 'ParNew' had collection(s): coun
JavaScript利用append添加元素报错的解决方法
10-25
主要介绍了JavaScript利用append添加元素报错的解决方法,需要的朋友可以参考下
append()函数使用报错解决：AttributeError: 'NoneType' object has no attribute 'append'
热门推荐
weixin_44249185的博客
10-16 3万+
问题描述 Python代码中使用append()函数后报错： AttributeError: ‘NoneType’ object has no attribute ‘append’ 代码： L = L.append('a') 解决方法 将“L = L.append(‘a’)”改为L.append(‘a’)后问题解决 原因解释 append会修改L本身，并且返回None。不能把返回值再赋值给L a...
java append 报错_报错咯~
weixin_31163455的博客
02-28 547
1、字符串替换的时候，报错了报错信息：java.lang.IndexOutOfBoundsException: No group 1at java.util.regex.Matcher.start(Matcher.java:374)at java.util.regex.Matcher.appendReplacement(Matcher.java:831)at java.util.regex.Mat...
python报错“append（)takes no keyword arguments“解决方案
qq_42670023的博客
03-23 9059
本人模拟抽样过程中的实验目的是将抽选到的符合条件的样本保存下来，作为后续数据分析的数据源，但是这次试验过程中，每次运行到append（）函数行时总会报错，试了很多种方法，最后一种才有效，记录下了给大家做个参考。 1.检查append（），（）中的参数是否存在。 刚开始我的代码检查了，是不是把数据框的名称写错了，发现并没有 2.检查循环语句，append（）函数是否跳出了循环，以至于（）中的参数不存在。 (大概是这么个意思，忘记错误代码怎么写的了） 3.检查盛放数据的文件是否非数据框格式，.
WARN org.apache.hadoop.hdfs.servåer.namenode.FSNamesystem: Get corrupt file b
wulantian的专栏
06-23 7099
Hadoop运维笔记 之 Namenode异常停止后无法正常启动： 存储，学习，共享。。。。 公司在线上使用了CDH5 HA模式，有两个Namenode节点，结果其中的Standby节点因为一些关于edits文件的报错异常停止了，并且在启动的过程中一直报告找不到各种文件。 刚开始怀疑问题可能只发生在Standby本身，因此尝试了bootstrapStandby
今日学习分享：处理异常 exception
qq_44731195的博客
03-29 406
1.异常的介绍： Throwable 子类 Error 这是错误无法处理 Exception 异常 子类 RuntimeException 运行时异常 子类 IndexOutOfBoundsException 下标越界异常 ArithmeticException 上面是常用的一部分异常，一般我们处理的都是运行时异常和编译时异常。 出现异常如何处理？ ...
HDFS中使用append出错
coco_ethan的专栏
12-10 4017
1.文件append的问题 hadoop的版本1.0.4以后，API中已经有了追加写入的功能，但不建议在生产环境中使用，原因如下：Does HDFS allow appends to files? This is currently set to false because there are bugs in the "append code" and is not supported i
hadoop 的HDFS 的 standby namenode无法启动事故处理
weixin_30435261的博客
01-22 936
standby namenode无法启动 现象：线上使用的2.5.0-cdh5.3.2版本Hadoop，开启了了NameNode HA，HA采用QJM方式。hadoop的集群的namenode的standby节点宕掉，重启无法启动成功。 1. standby namenode出现异常时的现象 异常现象1: hadoop的集群的namenode的standby节点宕掉，重启无法启动成功。查看ha...
HDFS追本溯源：租约，读写过程的容错处理及NN的主要数据结构
weixin_34177064的博客
05-01 204
1.Lease 的机制：hdfs支持write-once-read-many，也就是说不支持并行写，那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease，对应到namenode中的LeaseManager，客户端的client name就作为一个lease的holder，即租约持有者。LeaseManager维护...
HDFS 初始namenode
song_quan_的博客
10-13 1451
HDFS体系结构 前面我们掌握了HDFS的基本使用，下面我们来详细分析一下HDFS深层次的内容 HDFS 支 持 主 从 结 构 ， 主 节 点 称 为 NameNode ， 是 因 为 主 节 点 上 运 行 的 有 NameNode 进 程 ， NameNode支持多个，目前我们的集群中只配置了一个 从节点称为 DataNode ，是因为从节点上面运行的有DataNode进程，DataNode支持多个，目前我们的 集群中有两个 HDFS中还包含一个 SecondaryNameNo
org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException
Johnson8702的博客
01-06 1045
问题 SparkStreaming实时消费kafka数据，数据聚合后重分区，每个分区内部，写hive表；写文件的过程中，文件名具体到批次时间。通过executor的日志，发现偶尔会有下面的报错 21/01/06 13:44:00 WARN DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException)
HDFS启动
huangbaokang的博客
11-04 4081
在安装好的hadoop里，安装教程可参考我的博客https://blog.youkuaiyun.com/huangbaokang/article/details/102895418 修改hadoop-env.sh cd hadoop_hbk/ vi hadoop-env.sh 主要修改JAVA_HOME环境变量，根据个人jdk环境 export JAVA_HOME=/usr/java/jdk1.8.0_20...
hadoop常见错误及解决
fantasydreams的专栏
06-15 5816
WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/mywind/name should be specified as a URI in configuration files. Please update hdfs configuration. 问题定位：hdfs-site.xml 问题原因： 1) 不合规范的URI格式
namenode异常退出分析及解决办法
09-04 1万+
-----journalnode异常日志 2017-09-04 02:39:21,667 INFO org.apache.hadoop.hdfs.server.namenode.FileJournalManager: Finalizing edits file /data/hadoop/journalnode/nn/XXXXXXX/current/edits_inprogress_0000000
org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried
最新发布
weixin_61933730的博客
07-22 851
org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried hadoop集群启动异常
大规模块存储 EC 系统构建
2301_82040283的博客
02-07 1717
举个例子：我们如果采用 K 为 4，M 为 2 的编码，需要将分片切成 1K 大小，而一般情况下，文件系统对于 4K 倍数的 I/O 支持比较友好，1K 的 I/O size，相对来说，不是很合理的 I/O size。多副本方式容错，每个副本的数据相同，所以，一般采用分布式的一致性协议对数据进行同步，主流的协议为 Paxos 和 Raft。分离后，大写部分产生的 EC 数据为变长，采用 append 的引擎，为这种变长分片提供更好的空间分配机制，同时能够充分利用硬件追加写的性能优势。C 和 ⍺ 为常数。
异常：org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried
freedom_zzz的博客
09-01 2154
项目场景： 提示：Hadoop 集群版本为3.2.2 问题描述： 在启动 Hadoop 集群后，nodemanager 日志一直提示： INFO org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTim
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值