HBaseCon2018——笔记

本文探讨了HBase在阿里巴巴、小米及滴滴等公司的应用情况,包括数据分级存储策略、一致性保障机制以及容灾备份方案等内容。特别介绍了滴滴如何通过分层压缩实现热、温、冷数据的有效管理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  • HBase 在阿里

 

将数据分热、温、冷三种不同的层级,底层采用AEP、SSD、HDD三种不同硬件。

 

 

  • HBase 一致性内存

目前的逻辑是 put 保存到 region 的memory,同时写到WALs, 是从数据写到WALs,当达到存储大小时 flush 到HDFS,当crach时 重放WAL

在 region 层面的副本,在其他的regionserver 上读取 region副本,hdfs上指向相同的HFiles,Memstore 数据也可以存副本。当主down了时,读副本region,不能保证强一致性,

  • HBase 在xiaomi

本部分我们已完全支持,单独的HDFS集群支持HBase,对于S级项目有单独的HBase集群,单独的离线处理集群。

集群容灾备份部分不错

 

 

 

  • HBase 在滴滴

  • Separating hot-cold data into heterogeneous storage based on layered compaction

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值