HBase删除数据

最新推荐文章于 2024-11-11 00:12:44 发布

K. Bob

最新推荐文章于 2024-11-11 00:12:44 发布

阅读量1.9k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： HBase

本文链接：https://blog.youkuaiyun.com/ThreeAspects/article/details/105836265

HBase的删除和更新操作不直接修改原有记录，而是插入标记为Delete的新数据。时间戳用于版本管理和数据读取，确保总是获取最新版本。在compact过程中，过期或删除的数据会被清理。flush和major compact分别在数据写入内存和文件合并时处理旧版本，确保数据高效管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HBase不会定位到需要删除或更新的记录进行操作。由于HBase底层依赖HDFS，对于HBase删除操作来说，HBase无法在查询到之前的数据并进行修改，只能顺序读写，追加记录。为了更新或删除数据，HBase会插入一条一模一样的新的数据，但是key type会标记成Delete状态，以标记该记录被删除了。在读取的时候如果取到了是Delete，而且时间是最新的，那么这条记录肯定是被删掉了。

HFile的存储格式如图所示，每一个单元格或者KeyValue在HFile中的格式如下：
row length + row key + family length + column family + column qualifier + timestamp + key type
在这里插入图片描述
同样，进行更新操作的时候，也会重新插入一条新的数据来代替在原来数据上修改。新的数据的timestamp会大于老的数据，这样读取的时候，判断时间戳就可以取出最新的数据了。

HBase修改数据的流程：
1、时间戳
HBase 中通过 Row 和 Columns 确定的一个存储单元称为 Cell。每个 Cell 都保存着同一份数据的多个版本。版本通过时间戳来索引，时间戳的类型是 64 位整型。时间戳可以由HBase（在数据写入时自动）赋值，此时时间戳是精确到毫秒的当前系统时间。

2、修改数据
当对数据进行修改，修改的数据会将当前的数据覆盖，由hbase在写入数据时自动赋予修改数据后的时间戳，每个 Cell 中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。保证每次获取的数据时最新修改后的数据。

由于HBase这样的删除和更新机制，如果后面没有一个对于过期数据处理的机制，会导致过期数据越来越大，因此后面的compact操作中的major compact就顺便将过期的数据删除掉了。对于标记为删除的数据，直接删除。对于不