南修子学Hbase-Hbase数据删除

最新推荐文章于 2025-08-29 14:23:38 发布

原创最新推荐文章于 2025-08-29 14:23:38 发布 · 500 阅读

0 ·

CC 4.0 BY-SA版权

Hbase 专栏收录该内容

19 篇文章

订阅专栏

本文详细介绍了HBase中的数据管理，包括Flush和MajorCompaction的过程及其对数据删除的影响。Flush主要删除历史Timestamp的数据，但有局限性；MajorCompaction则能全局清理数据，无删除局限。通过示例展示了如何操作HBase表并观察数据变化，揭示了删除标记在MajorCompaction时才生效的特性。

Flush和Major Compaction会删除数据。

Flush会删除历史TimeStamp的数据,Flush在同一个内存中，就能知道过时，就会被删掉，他不能删除跨越了多个文件的数据，就是先Flush了一遍，再插入一条之后再Flush就不会删除

Flush删除数据会有一定的局限性

Major Compaction删除没有局限性

create 'student','info'

put 'student','1001','info:name','wodemingzi'

put 'student','1001','info:name','nidemingzi'

scan 'student' ->只能看到最新的一条记录

scan 'student',{RAW=>TRUE,VERSIONS=>10}  ->可以看到TimeStamp最近10条数据，所以能看到两条记录

flush 'student'  ->会删除历史数据

scan  'student',{RAW=>TRUE,VERSIONS=>10} ->由于上面Flush了数据，所以只能看到一条数据

put 'student','1001','info:name','tademingzi'

flush 'student'

scan  'student',{RAW=>TRUE,VERSIONS=>10}  ->这会能看到两条数据，nidemingzi和tademingzi，因为

put 'student','1002','info:name','shuidemingzi'

compact 'student'

scan  'student',{RAW=>TRUE,VERSIONS=>10}  ->这会只能看到shuidemingzi和tademingzi，因为Major Compation会把历史数据删除

删除标记：删除标记是在major compaction的时候

put 'student','1003','info:name','wuwukai'

delete 'student','1003','info:name'

scan 'student',{RAW=>TRUE,VERSIONS=>10}  =>此时还能看到wuwukai这条数据

flush 'student'

scan 'student',{RAW=>TRUE,VERSIONS=>10} =>wuwukai这条数据没有了，但是wuwukai这条数据的删除标记还在

put 'student','1004','info:name','xudongwen'

flush 'student'

put 'student','1005','info:name','miss'

flush 'student'

put 'student','1006','info:name','chenyifaer'

scan 'student',{RAW=>TRUE,VERSIONS=>10} =>wuwukai这条数据的删除标记还在

compact 'student'

scan 'student',{RAW=>TRUE,VERSIONS=>10} =>wuwukai这条数据的删除标记不在了，delete在flush的时候不删除，而是在major compaction的时候删掉