u013111855的博客

HBASE的设计hbase的表设计hbase的列族设计hbase的行键设计hbase的表设计表设计应当做到：1）防止数据热点问题，建表的时候，最好进行表的预分区。并且插入的时候，rk 不要顺序递增。预分区的个数，不要超过regionserver个数。具体以数据量进行预分区。2）列族不建议过多hbase的列族设计列族设计应该注意以下几点：1）将具有相同io属性的列放在同一个列族中...

hbase各个角色的分工hmaster 的职责hregionserver 的职责zookeeper 的职责hmaster 的职责1）进行region的分配，决定每一个region 分到哪一个regionserver上。2）负责 RegionServer 的负载均衡。3）通过zookeeper发现失效的 RegionServer 并重新分配其上的 region。4）HDFS 上的垃圾文件...

Hbase 的相关原理hbase架构hbase中的核心概念region 分区hbase架构Hbase是主从架构：主：hmaster从：hregionserverhregionserver 里面存储的是一个个 regionhbase中的核心概念region 分区每一个表的数据， 都需要划分为多个regionregion 是对hbase表在行的方向上的划分，一个region代表的是...

Hbase 和 hive 的关联

hbase的api操作TestHbaseConnectionTestHbaseDDLTestHbaseDMLTestHbaseFilter总结TestHbaseConnection两大对象：HbaseConfiguration： hbase的加载配置文件的对象，用于加载默认配置文件 hbase-dafult.xmlConnection： hbase的连接对象package hba...

Hbase的产生背景GOOGLEDOUG CUTTING:GOOGLEgoogle是做搜索引擎的，面临3大问题及解决方案： 1、海量网页数据存储 ----> GFS 2、海量网页数据的计算 -----> MAPREDUCE 3、快速随机查询 -------> bigtable DOUG CUTTING:DOUG CUTTING 也在...

HBASE的寻址机制寻址机制读机制写机制寻址机制现在假设我们要从 user_info 里面寻找一条 RowKey 是 rk0001 的数据。那么我们应该遵循以下步骤：从.META.表里面查询哪个 Region 包含这条数据。获取管理这个 Region 的 RegionServer 地址。连接这个 RegionServer，查到这条数据。系统如何找到某个 RowKey (或者某个 R...

HBASE表结构、优缺点及设计思想HBASE来源HBASE特点hbase的表结构：hbase的优缺点：hbase的设计思想HBASE来源来自于google，最初是Google面临 海量网页数据 提出的解决方案。 来自于google的一篇论文： bigdataHBASE特点HBASE是面向列的。hive ： 传统关系型数据库，是面向行的方式的。（一行数据，一定是存在一个文件中的）...

HBASE的shell操作Group name: general 通用命令Group name: namespace进入shell界面(启动hbase客户端)：hbase shell进入客户端后，可以使用help命令来查看命令分组：help命令分组分为：COMMAND GROUPS: Group name: general Commands: status, t...