hzp666的博客

关于数据的存储，我们最熟悉的就是mysql了，但是想想看，每5分钟存储一个点，一天288个点，一年就10万+，这还是单个维度，往往在实际应用中维度会非常多，比如股票交易所，成千上万支股票，每天所有股票数据就可能超过百万条，如果还得支持历史数据查询，mysql是远远扛不住的，必然要考虑分布式存储，最好的选择就是Hbase了，事实上业内基本上也是这么做的。观察这张表内存储的数据，在rowkey的组成部分内，其实有很大一部分的重复数据，重复的指标名称，重复的标签。在上面的存储模型章节中，我们了解到。...

http://dblab.xmu.edu.cn/blog/install-hbase/HBASE 官网：https://hbase.apache.org/book.html#_prefaceUse the following legend to interpret this table:Hadoop version support matrix

1.介绍Hbase是基于HDFS存储的2.Hbase的存储关系型数据库，有2个维度来确定某个具体的值，行 和 列Hbase有4个维度来确定某个具体的值,行键、列族、列名、时间戳，(其中时间戳是系统默认生成的所有只用前3个 就能确认唯一值)，时间戳是因为HDFS生成文件后无法修改，Hbase只能通过时间戳方式来覆盖旧数据。系统默认会取最新时间戳。Hbase中某个具体的数值，叫单元格， Hbase的读写都是以单元格进行的，读写不是以数据行进行。3.Hbase分

文章目录一、配置hive 二、hive中数据与hbase相关联 三、hbase中数据与hive相关联一、配置hive1、创建hive所需要的hbase相关联包的软链接ln -s $HBASE_HOME/lib/hbase-common-1.4.10.jar $HIVE_HOME/lib/hbase-common-1.4.10.jarln -s $HBASE_HOME/lib/hbase-server-1.4.10.jar $HIVE_HOME/lib/hbase-server-.

首先我们要明确一件事情，Hlog是存储在hdfs上的。并且一台HRegionServer就有一个hlog所一一对应。那么谈到Hbase的Hlog，我们不得不说一下hbase的写流程。HBase往kakfa写数据的时候，首先获取到HBaseClient，然后链接到Zookeeper 获取到root表，从root表中定位meta表的位置，然后从RegionServer中定位到Region的信息，然后region写数据之前会先检查memstore里面的 boomfilter。如果此Region..

设计HBase表需要注意的点1.如果有可能建议添加boomfilter，boomfilter可以进行 列族和行键的单独boomfilter，在写入的时候会把行键的hash写入到boomfilter中，这样大大减少了检索数据的时间2.version可以控制数据的版本，假如老数据我们不关心，那么就设置为1，可以节约大约三分之二的空间3.可以进行压缩推荐使用snappy压缩，如果是冷数据建议gzip压缩率更高，在snappy之前google默认的压缩是lzo，在snappy之后，snappy是默.