前言
HBase on OSS架构优势如下:
-
简化了数据迁移和恢复
HBase的数据文件和表的元数据持久存储在集群外部的OSS上,HBase数据迁移和恢复时无需再使用快照等复杂的方式。
-
方便扩容
- 目前基于
Core Node扩容HBase计算时会同步扩容HDFS,但是本文中的HDFS集群本身只用于存储WAL(Write Ahead Log),需要的存储空间较少,所以实际是能够通过计算需求而非存储需求来调整EMR集群大小,同时OSS作为云存储服务,扩容操作也比较简单。
与其说是Hbase替换现有底层存储hdfs为oss,不如说是hbase替换底层存储hdfs为oss-hdfs。
环境准备:
- 目前基于
-
EMR 5.6.0大数据集群(正常运行) -
oss服务环境(正常运行)
组件hbaseosszookeeperhdfs
操作步骤
具体的操作分为以下几个步骤:
- 联系主账号管理员,并确认
oss开通了hdfs的服务,开通方式请参考:

本文介绍了如何将HBase的底层存储从HDFS替换为阿里云OSS,以简化数据迁移和恢复,方便集群扩容。迁移过程包括环境准备、停止HBase服务、迁移数据、配置HBase及OSS、启动服务和验证读写功能。通过这一操作,可以利用OSS的云存储优势,提高存储灵活性。
最低0.47元/天 解锁文章
1354

被折叠的 条评论
为什么被折叠?



