云栖大会之HBase多模式的机遇与挑战

什么是Apache HBase

Hadoop Database，是一个基于Google BigTable论文设计的高可靠性、高性能、可伸缩的分布式存储系统。

• 松散表结构(Schema free)

• 原生海量数据分布式存储

• 随机查询、范围查询

• 高吞吐，低延迟

• 在线分布式数据库

• 多版本，增量导入，多维删除

 

ApsaraDB HBase Platform

• 平台架构

 

• 平台优势

	Item	ApsaraDB ForHBase (Aliyun Product)	ApacheHBase(Software)
Basic	High availability	99.9%~   99.99%	N/A
	Data reliability	99.999999999%	N/A
Online Ability	Multi-master clustering	Multi-master clustering，Multi-AZ/Regon	NO
	GC	FGCNO，YGC5ms	GC 20s~100s，YGC100ms+
Reduce Cost	Storage Cost	Cut by 50%+on share cloud disk，Total3 Copy	Maybe on Cloud Disk，Total9 Copy
	SupportCold Storage	SupportOSS，Cut by 70%   atless read	NO
Multi-model DB	Multi-model DB	KV，Tabular，SQL，Graph，Time Series，Geospatial Full Text index， Search	KV，Tabular
Enterprise Characteristics	Disaster recovery	Backup and Restore	NO，maybe3.0
	Security	user/password，ACL	Kerberos，ACL
	Analytics	SparkonHBase ，Moreoptimization	SparkonHBase
	Version upgrade	Automatic upgrade	N/A
Self-driven	Database control system	15min Createa DB/Monitor Online add storage and node/ElasticPowerinfuture	N/A
	Diagnostic System	Big request ，Big Table merge，HotRegion……	NO

 

• 使用场景

数据类型	存储对象	代表场景	组件	优势
KV/表格存储	稀疏表	简单kv信息 风控 画像表等稀疏表	HBase API	动态列
SQL	带类型的	替换单机关系数据库	HBase-Phoenix	SQL语法 具备Hbase 所有的优势
文档数据	json/xml/html	新闻	HBaseAPI	存储空间大
对象数据	图片/视频等	小对象存储	HBase	性能与存储空间 兼备
时序数据	传感器数据	监控数据	HBase HBase-OpenTSDB	写性能高、存储量大
时空数据	轨迹	轨迹、时空数据	HBase HBase-GeoMesa	写性能高、存储量大
图关系数据	关系	欺诈场景	Hbase-HGraphDB	分布式图
OLAP	cube	报表	Kylin或自己构建	计算前置 实时查询

 

人才的成长

• 成长历程

  • 2-3年夯实基础

  • 4-6年成为专家

  • 7-10年无中生有

  • 引领-带领

• 成长建议

  • 关注社区，多写文章

  • 请教高手

  • 项目中成长

  • 保持敬畏

  • 坚持

 

附上HBase多模式的机遇与挑战PPT：