HDFS只支持文件append操作, 而依赖HDFS的HBase如何完成增删改查功能

最新推荐文章于 2023-01-28 14:11:20 发布

原创

最新推荐文章于 2023-01-28 14:11:20 发布 · 4k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hdfs #hbase #nosql #append

本文探讨了HDFS不支持文件删除和更新操作的原因，以及HBase如何利用HDFS的append功能完成数据的增删改查。HBase通过MemStore和HFile实现更新操作，查询时通过MemStore和有序的HFile队列进行，同时使用LSM树进行HFile的合并和删除操作。删除操作通过对key打标并写入MemStore来完成。整个过程依赖于HBase的WAL机制保证数据安全性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. HDFS的文件append功能

早期版本的HDFS不支持任何的文件更新操作，一旦一个文件创建、写完数据、并关闭之后，这个文件就再也不能被改变了。为什么这么设计？是为了与MapReduce完美配合，MapReduce的工作模式是接受一系列输入文件，经过map和reduce处理，直接产生一系列输出文件，而不是在原来的输入文件上做原位更新。为什么这么做？因为直接输出新文件比原位更新一个旧文件高效的多。

在HDFS上，一个文件一直到它的close方法成功执行之后才会存在，才能被其他的client端所看见。如果某个client端在写文件时或者在close文件时失败了，那么这个文件就不会存在，就好像这个文件从来没写过，唯一恢复这个文件的方法，就是从头到尾重新再写一遍。

Hadoop1.x版本一直都不支持文件的append功能，一直到Hadoop 2.x版本，append 功能才被添加到Hadoop Core中，允许向HDFS文件中追加写数据。为此，HDFS Core 也作出了一些重大的改变，以支持这一操作。append功能添加到HDFS经历了一番曲折和一段很长的时间（具体可以参考http://blog.cloudera.com/blog/2009/07/file-appends-in-hdfs/和 https://issues.apache.org/jira/browse/HADOOP-8230）。

2. HBase 如何完成数据更新和删除操作<