墨殇

一、背景 在hadoop体系中为什么需要做hbase和hive的整合呢？其实这跟hbase的设计特性有点关系（ps：具体的hbase及hive的相关特性就不在这里赘述了哈~），因为hbase不支持标准sql的类sql语句都不支持而且hbase 做统计分析的时候不能做join，而这些功能是hive所具备的，所以在实际的生产环境中将二者整合并让hbase表中的数据可以使用类sql语句及join分析是很...

一、产生背景 Hbase作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(<0.92)Hbase 中，统计数据表的总行数，需要使用 Counter 方法，执行一次 MapReduce Job 才能得到。虽然 HBase在数据存储层中集成了 MapReduce，能够有效用于数据表的分布式计算。然而在很多情况下，做一些简单的相加...

一、安装准备 hbase底层数据存储在hdfs，计算依赖于mapreduce，还依赖于zk做协调服务，所以环境中需要有hadoop、zookeeper、jdk 安装节点： 分布式的主从架构 一主多从/多主多从 对zk的依赖性很强 注意： 线上生产环境部署集群的时候zookeeper单独独立出来，这里因为测试环境资源有限就跟hdfs集群放一起了 集群规划（2主（高可用） 3从）： hadoo...

一、hbase简介 1、hbase产生背景 以前Google存储大量的网页信息，如何存储，如何计算，如何快速查询就成为了一个问题，后来在2003年Google发表了3篇论文提供了解决思路，分别是GFS、MAPREDUCE、BigTable ，但是没有讲源码开源出来，后来这几篇论文被doung cutting看见了，由于Doung Cutting是做搜索引擎lucence，遇到和Google同样的...

一、hbase架构 hbase是主从架构的设计模式，一般有一主多从或多主多从，zookeeper负责协调hbase集群主要是负责一些元数据的存储，主指的是hmaster，从指的是hregionserver 1、系统架构 ps：图片来源网络，若如侵权请联系删除 1.1各个client职责 ZooKeeper 职责 1）ZooKeeper为 HBase 提供 Failover 机制，选举mas...

一、数据热点 hbase的表的多个region中有一个region的读写并发很高，其他的region相对来说读写少，造成热点的region 一定要避免数据热点的问题 二、防止数据热点的有效措施: 1）加盐 这里所说的加盐不是密码学中的加盐，而是在 rowkey 的前面增加随机数，具体就是给rowkey 分配一个随机前缀以使得它和之前的rowkey 的开头不同。分配的前缀种类数量应该和你想使用数据...