
Hbase
layne_liang
这个作者很懒,什么都没留下…
展开
-
Hbase数据模型
HBase以表的形式存储数据。表由行和列族组成。列划分为若干个列族(row family),其逻辑视图如下: 下面分别说说几个关键概念:1)行键(RowKey)-- 行键是字节数组, 任何字符串都可以作为行键;-- 表中的行根据行键进行排序,数据按照Row key的字节序(byte order)排序存储;-- 所有对表的访问都要通过行键 (单个RowKey访问,或R转载 2015-07-22 15:56:27 · 417 阅读 · 0 评论 -
HBase性能优化方法总结(二):写表操作
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。下面是本文总结的第二部分内容:写表操作相关的优化方法。2. 写表操作2.1 多HTable并发写创建多个HTable客户端用于写操作,提高写数据的吞吐量,一个例子: Configuration conf = HBaseConfi转载 2015-07-22 15:52:27 · 1593 阅读 · 0 评论 -
分布式数据库 HBase
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bi转载 2015-07-22 15:55:19 · 421 阅读 · 0 评论 -
HBase性能优化方法总结(三):读表操作
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。下面是本文总结的第三部分内容:读表操作相关的优化方法。3. 读表操作3.1 多HTable并发读创建多个HTable客户端用于读操作,提高读数据的吞吐量,一个例子: Configuration conf = HBaseConfi转载 2015-07-22 15:53:10 · 405 阅读 · 0 评论 -
HBase性能优化方法总结(一):表的设计
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容:表的设计相关的优化方法。1. 表的设计1.1 Pre-Creating Regions默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region转载 2015-07-22 15:51:53 · 390 阅读 · 0 评论 -
HBase 系统架构
HBase是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的,分布式的,多版本的,面向列的存储模型。它存储的是松散型数据。HBase特性:1 高可靠性2 高效性3 面向列4 可伸缩5 可在廉价PC Server搭建大规模结构化存储集群HBase是Google BigTable的开源转载 2015-07-22 15:55:54 · 305 阅读 · 0 评论 -
HBase 常用类介绍
HBase 常用类介绍JAVA API 和 HBase数据库模型之间的关系:JAVA 类Hbase 数据模型HBaseAdmin数据库(database)HBaseConfigurationHTable表(table)HTableDescr转载 2015-07-22 15:54:34 · 621 阅读 · 0 评论 -
HBase性能调优
配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会 被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regions重新balance,让其他存活的 RegionServer接管.调优:转载 2015-07-22 15:53:47 · 323 阅读 · 0 评论 -
常用Hbase Shell
1.进入Hbase命令行>hbase shell 退出命令行>quit 2.创建表>create 'users','user_id','address','info' 3.查看所有表>list 4.查看表结构>describe 'users' 5.删除表:>disable 'users' >原创 2015-07-22 15:50:33 · 330 阅读 · 0 评论 -
HBase性能优化方法总结(四):数据计算
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。下面是本文总结的第四部分内容:数据计算相关的优化方法。4. 数据计算4.1 服务端计算Coprocessor运行于HBase RegionServer服务端,各个Regions保持对与其相关的coprocessor实现类的引用,cop转载 2015-07-22 15:51:14 · 355 阅读 · 0 评论