HBase
关注
分享
扫一扫
文章平均质量分 90
Fenggms
好好学习，天天向上。
展开
-
HBase（01）——HBase数据库基础
HBase基础HBase数据库介绍HBase特点HBase的存储机制HBase中的表的特点 HBase数据库介绍 HBase是基于Google BigTable模型开发的，典型的key/value系统。正如Bigtable利用Google文件系统提供的分布式数据存储一样，HBase在Hadoop和HDFS之上提供类似Bigtable的功能。 它是建立在hdfs之上，提供高可靠性、高性能、列存储、可...原创 2018-10-03 14:45:35 · 488 阅读 · 0 评论 -
HBase（09）——HBase 建表高级属性
hbase 表预分区----手动分区 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。 命令方式: create ‘...原创 2018-10-09 21:54:55 · 348 阅读 · 0 评论 -
HBase（08）——HBase Region管理及容错性
Region管理 1、region分配 任何时刻，一个region只能分配给一个region server。 master记录了当前有哪些可用的region server。以及当前哪些region分配给了哪些region server，哪些region还没有分配。 当需要分配新的region，并且有一个region server上有可用空间时，master就给这个region server发送一个...原创 2018-10-09 21:30:36 · 391 阅读 · 0 评论 -
HBase（07）——HBase读写过程
读请求过程 （1） client通过zookeeper以及root表和meta表找到目标数据所在的regionserver （2）联系regionserver查询目标数据所在region （3）regionserver定位到目标数据所在的region，发出查询请求 （4）region先在memstore中查找，查找到则返回结果 （5）如果在memstore中没有查询到，则在storefile中扫描...原创 2018-10-09 21:13:28 · 239 阅读 · 0 评论 -
hbase和hive整合实战
hbase表映射到hive表中 ① 在hbase中创建表：表名hbase_test, 有三个列族 f1、f2、f3原创 2018-10-13 23:58:11 · 609 阅读 · 0 评论 -
Hive 整合Hbase环境配置
Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 1、应用场景 ETL操作的数据存入HBase HBase作为Hive的数据源 构建低延时的数据仓库 2、环境准备 hive与hbase版本兼容性 Hive版本 hive-1.2.1、hbase的版本hbase-1...原创 2018-10-13 23:56:53 · 1429 阅读 · 0 评论 -
HBase（06）——HBase寻址机制
建表高级属性 下面几个create 属性： 1、BLOOMFILTER 默认是Row 布隆过滤可以每列族单独启用。 使用 HColumnDescriptor.setBloomFilterType(NONE | ROW | ROWCOL) 对列族单独启用布隆。 Default = ROW 对行进行布隆过滤。 对 ROW，行键的哈希在每次插入行时将被添加到布隆。 对 ROWCOL，行键 ...原创 2018-10-03 23:27:16 · 288 阅读 · 0 评论 -
HBase（05）——HBase内部原理
系统架构 Client 1 包含访问hbase的接口，client维护着一些cache来加快对hbase的访问，比如region的位置信息。 Zookeeper 1 保证任何时候，集群中只有一个master 2 存贮所有Region的寻址入口----root表在哪台服务器上。 3 实时监控Region Server的状态，将Region server的上线和下线信息实时通知给Master 4 存...原创 2018-10-03 17:28:33 · 287 阅读 · 0 评论 -
HBase（04）——HBase基本shell命令
进入hbase命令行 ./hbase shell 显示hbase中的表 list 创建user表，包含info、data两个列族 create ‘user’, ‘info’, ‘data’ 或者 create ‘user’, {NAME => ‘info’, VERSIONS => ‘3’}，{NAME => ‘data’} 向user表中插入信息，row key为rk0001，...原创 2018-10-03 17:25:04 · 505 阅读 · 0 评论 -
HBase（03）——HBase集群及集群搭建
1、hbase集群结构 2、Hbase集群基本组件说明 Client： 包含访问Hbase的接口，并维护cache来加快对Hbase的访问，比如region的位置信息。 HMaster： 是hbase集群的主节点，可以配置多个，用来实现HA 为RegionServer分配region 负责RegionServer的负载均衡 发现失效的RegionServer并重新分配其上的region Regi...原创 2018-10-03 17:18:57 · 11003 阅读 · 0 评论 -
HBase（02）——HBase数据模型
表结构 HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族(column family)。 HBase表由多行组成。 行 HBase中的一行由一个行键和一个或多个具有与之关联的值的列组成。 行存储时，行按字母顺序排序。因此，行键的设计非常重要。目标是以相关行彼此靠近的方式存储数据。常见的行键模式是网站域。如果您的行键是域，则应该反向存储它们（org.apache.www，org.ap...原创 2018-10-03 15:18:48 · 475 阅读 · 0 评论 -
HBase（10）——HBase设计原则
表结构设计 列族数量的设定 以用户信息为例，可以将必须的基本信息存放在一个列族，而一些附加的额外信息可以放在另一列族； 尽量避免设计过多的列族。 行键的设计 设计原则： 将需要批量查询的数据尽可能连续存放 CMS系统----多条件查询 尽可能将查询条件关键词拼装到rowkey中，查询频率最高的条件尽量往前靠 HBase的设计原则 HBase是三维有序存储的，通过rowkey（行键），column ...原创 2018-10-09 22:16:50 · 331 阅读 · 0 评论