聊聊HBase一些知识

HBase是一种分布式、可扩展的大数据存储系统，它是Hadoop生态系统中的一个重要组件。主要特征有：

1. 面向列的存储：HBase存储以列族的方式存储数据，可以有效的存储非结构化和半结构化数据。

2. 海量数据存储：HBase可存储数十亿行，数百万列的数据,是海量数据存储的好工具。

3. 高并发：HBase基于Hadoop HDFS，可以支持高并发和实时读/写的场景。

4. 高可扩展：HBase设计初衷就是要可扩展，可以线性扩展到很大的数据量和高吞吐量。

5. 数据一致性：HBase使用MVCC(多版本并发控制)机制来维持数据一致性。

6. 高性能：HBase基于HDFS，采用内存缓存和批量操作，可以达到实时读取100ms以内，每秒处理上百万操作的高性能。

7. 高可靠：HBase使用HDFS做持久化存储，数据自动备份，并且支持数据的主从复制。

HBase是一个比较重量级的NoSQL数据库，需要部署Hadoop和HDFS，运维成本较高,需要专业人士运维。但对大数据存储和离线计算来说是一款非常强大的工具。

 它的优缺点

 优点：

1. 高性能、高并发。能处理巨量数据和高并发请求。

2. 高可扩展性。可以线性扩展数据量和吞吐量。

3. 高可靠性。使用HDFS进行持久化存储，自动备份，支持主从复制。

4. 支持结构化和非结构化数据存储。采用列式存储，适合存储各种类型的数据。

5. 开源免费。HBase是Apache的开源项目，可以免费使用。

缺点：

1. 部署和运维复杂。需要部署Hadoop和HDFS，运维难度大，需要专业技能。

2. 不支持ACID事务。HBase不支持数据库级事务，只支持行级事务。

3. 学习曲线陡峭。HBase的概念与传统关系型数据库不同，学习难度较大。

4. 不支持SQL查询。HBase使用自己的API，不支持标准的SQL查询语言。

5. 浪费存储空间。HBase的预分区会导致存储空间的浪费，预分区数设置需要慎重。

6. RegionServer单点故障。如果RegionServer节点宕机，会导致整个表无法访问,可靠性较差。

使用场景 

 适用于以下场景:

1. 大数据存储和分析。HBase可存储和处理大数据量，非常适合大数据分析场景，如用户行为分析、大数据实时计算等。

2. 高并发读取和写入。HBase能支持高并发的实时读/写，非常适合需要高并发读写的场景，如实时监控、物联网等。

3. 结构化和非结构化数据存储。HBase采用列式存储，可以灵活地存储各种结构的海量数据。

4. 时序数据和 timeseries 数据分析。HBase的行键支持时间序列，特别适合存储时序和timeseries数据,进行数据分析。

5. 半结构化数据处理。HBase可存储各种格式的数据，非常适合处理半结构化数据。

不太适用的场景:

1. 需要高度事务支持的场景。HBase不支持ACID事务，不适合要求高度事务支持的应用。

2. 标准SQL和查询需求。HBase不支持SQL查询，有复杂查询需求的应用不适合使用HBase。

3. 存储空间极为宝贵的场景。HBase的预分区可能会造成一定的存储空间浪费，空间非常宝贵的应用需要慎重考虑。

4. 极低延迟的场景。尽管HBase的延迟较低，但相比内存数据库，延迟会稍高,极低延迟的场景可能不太适合。

5. 简单应用场景。HBase的部署和运维较复杂，对简单应用场景可能超出要求，可考虑其他更轻量级的NoSQL数据库。

所以总体来说，HBase非常适合大数据存储和离线分析场景，也适合高并发的实时应用，但不太适合在线事务和SQL应用，也不适合极低延迟和简单应用场景。

与Hive、Kudu比较 

 从存储结构、读写性能、事务支持、SQL支持、部署难易度等角度

特性	HBase	Hive	Kudu
存储结构	列式	行式	列式
读性能	高	中	高
写性能	高	低	高
事务支持	×	×	√
SQL支持	×	√	√
部署难易度	困难	简单	一般
适用场景	大数据存储和离线分析,高并发实时读写应用	数据分析和数据仓库,离线批量计算	实时分析,支持快速读写和完整事务

使用建议:

1. 大数据分析和离线计算场景,Hive是一个很好的选择,它基于HDFS构建数据仓库,使用SQL实现简单的MapReduce计算,部署简单。

2. 需要实时写入和変更,并要求有完整事务支持的应用,Kudu是一个不错的选项。它提供快速写入和更新,并且支持完整的ACID事务。

3. 高并发实时读写应用场景,HBase是一个很好的选择。它提供毫秒级的读写响应时间和大吞吐量。但需要注意它不支持标准SQL和完整事务。

4. 如果没有很强的技术要求,优先考虑Hive和Kudu,因为HBase的部署和运维较为复杂,需要较高的技术门槛来维护。只有在需要HBase的高性能时再考虑使用HBase。

5. 也可以根据实际需要,将 Hive、Kudu和 HBase结合使用,发挥各自的优势,构建出高性能、高功能的大数据分析系统。

所以综上,可以根据具体应用场景和技术要求选择Hive、Kudu或者HBase,或者结合使用来构建大数据系统。尽量避免因为产品单一而限制系统的功能和扩展性。