Hbase
关注
分享
扫一扫
文章平均质量分 78
J2EE_WQS
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Bigtable: A Distributed Storage System for Structured Data
OSDI '06 Paper Pp. <!-- CHANGE -->205–218 of the Proceedings <!-- START OF PAGE CONTENTS --> Bigtable: A Distributed Storage System for Structured Data Fay Chang, Jeffrey Dean, San...原创 2012-06-01 16:46:03 · 322 阅读 · 0 评论 -
hbase-0.92.1-cdh4.1.3的HTablePool实现
hbase-0.92.1-cdh4.1.3的HTablePool实现: 1. PoolType: Reusable: （默认）一个实例池，多线程复用，内部用ConcurrentLinkedQueue装多个实例HTable; ThreadLocal: 每个线程只有一个实例,线程与线程之间互不影响, ThreadLocal; 特点是随着线程的增多,Pool中的HTable增多,但互不影响;...2013-06-28 18:29:57 · 186 阅读 · 0 评论 -
HBase scannerCaching&caching
HBase Version: hbase-0.94.6-cdh4.3.0 在HBase Scan中有一优化: 使用 scannerCaching&caching. 意思是HBaseClient从HBase服务器一次取得多少条数据回来,减少从服务器来回取数据的次数,可以设置一次从HBase服务器取scannerCaching&caching条数据. 其中scannerCac...2013-06-25 23:22:02 · 493 阅读 · 0 评论 -
HBase修改表TTL值
1.创建测试表 hbase(main):010:0> create 'DCP_TEST',{NAME => 'info',VERSIONS => 1, TTL => 214783647, BLOCKCACHE => false,IN_MEMORY=>false},{NAME=>'tempData',VERSIONS=>1,TTL=>25920...2012-12-05 10:33:33 · 881 阅读 · 0 评论 -
HBase: HTablePool重构及优化
HBase Version: hbase-0.90.3-cdh3u1 org.apache.hadoop.hbase.client.HTablePool 用起来不是很方便. 所以重写了一些HTablePool, 对自己业务逻辑这块比较相关. 欢迎讨论. 主要是对源代码下面4点进行改进和设置: 1. 为不同的table建立的poolSize不一样, 目前HTablePool为所有的ta...2012-08-25 14:57:04 · 171 阅读 · 0 评论 -
HBase HLog结构和原理
一. HLog在HDFS上位置和RegionServer对应关系 HLog持久化在HDFS之上, HLog存储位置查看: hadoop fs -ls /hbase/.logs 通过HBase架构图, HLog与HRegionServer一一对应, Found 5 items ...原创 2013-04-11 21:06:51 · 1711 阅读 · 0 评论 -
查看HBase表在HDFS中的文件结构
为了查看HBASE表在HDFS中的文件结构. 在HBASE中建立一张表结构如下: {NAME => 'USER_TEST_TABLE', MEMSTORE_FLUSHSIZE => '67108864', MAX_FILESIZE => '1073741824', FAMILIES => [ {NAME => 'info', BLOOMFILTE...2013-03-30 18:41:26 · 850 阅读 · 0 评论 -
HBase -ROOT-和.META.表结构
在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServer的？本文就是在研究源码的基...原创 2013-03-29 17:35:09 · 201 阅读 · 0 评论 -
HBase架构图
HBase系统架构图 Client HBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信，对于管理类操作，Client与HMaster进行RPC；对于数据读写类操作，Client与HRegionServer进行RPCZookeeper Zookeeper Quorum中除了存储了-ROOT-表的地址和HMaster的地址，HRegion...原创 2013-03-27 17:59:44 · 189 阅读 · 0 评论 -
HBase hbase-site.xml 参数
该文档是用hbase默认配置文件生成的，文件源是 hbase-default.xml。 在实际的HBase生产环境中应用于%HBASE_HOME%/conf/hbase-site.xml中。 hbase.rootdir 这个目录是region server的共享目录，用来持久化HBase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hba...原创 2013-03-27 11:04:18 · 343 阅读 · 0 评论 -
HBase 自动安装shell脚本
#!/usr/bin/env bash #greatwqs for install hbase environment. for ip in $(cat /home/hadoop/hbase-current/conf/regionservers); do scp -r /home/hadoop/hbase-version $ip:~/; ssh $ip "ln -s /ho...原创 2013-03-23 17:46:16 · 170 阅读 · 0 评论 -
HBase性能优化方法总结
本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。 1. 表的设计 1.1 Pre-Creating Regions 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个...原创 2013-03-15 23:49:52 · 122 阅读 · 0 评论 -
HBase 官方文档 中文版
HBase 官方文档 Copyright © 2010 Apache Software Foundation, 盛大游戏-数据仓库团队-颜开(译) Revision History Revision 0.90.4 配置，数据模型使用入门 Abstract 这是 Apache HBase的官方文档, Hbase是一个分...原创 2012-07-03 13:04:58 · 564 阅读 · 0 评论 -
HBase Shell 命令
This page describes the JRuby IRB-based HBase Shell. It replaces the SQL-like HQL, the Shell found in HBase versions 0.1.x and previous. Some discussion of new shell requirements can be found in the S...2012-06-05 14:19:34 · 206 阅读 · 0 评论 -
HBase minor & major compactions
HBase The Definitive Guide Book Says: Since flushing memstores to disk causes more and more HFile's to be created, HBase has a housekeeping mechanism that merges the files into larger ones using ...2013-07-23 17:46:52 · 208 阅读 · 0 评论