python 与hadoop之pyhdfs的append

本文介绍了如何在Hadoop 2.x版本中启用文件追加功能,包括修改hdfs-site.xml配置,解决'File append is not supported yet'错误,以及在遇到`java.io.IOException`时的解决策略,详细解析了libhdfs源码中的问题并提供了解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

由于项目需要,所以就涉及到append功能;

HDFS设计之处并不支持给文件追加内容,这样的设计是有其背景的(如果想了解更多关于HDFS的append的曲折实现,可以参考《File Appends in HDFS》:
http://blog.cloudera.com/blog/2009/07/file-appends-in-hdfs/),但从HDFS2.x开始支持给文件追加内容,可以参见
https://issues.apache.org/jira/browse/HADOOP-8230
可以再看看
http://www.quora.com/HDFS/Is-HDFS-an-append-only-file-system-Then-how-do-people-modify-the-files-stored-on-HDFS
正如HADOOP-8230所述,只需要将hdfs-site.xml中的以下属性修改为true就行。
hadoop2.4.0:

<property>
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值