Hbase
关注
分享
扫一扫
文章平均质量分 78
J2EE_WQS
这个作者很懒，什么都没留下…
展开
-
Bigtable: A Distributed Storage System for Structured Data
OSDI '06 PaperPp. <!-- CHANGE -->205–218 of the Proceedings <!-- START OF PAGE CONTENTS --> Bigtable: A Distributed Storage System for Structured DataFay Chang, Jeffrey Dean, San...原创 2012-06-01 16:46:03 · 307 阅读 · 0 评论 -
hbase-0.92.1-cdh4.1.3的HTablePool实现
hbase-0.92.1-cdh4.1.3的HTablePool实现: 1. PoolType: Reusable: （默认）一个实例池，多线程复用，内部用ConcurrentLinkedQueue装多个实例HTable; ThreadLocal: 每个线程只有一个实例,线程与线程之间互不影响, ThreadLocal; 特点是随着线程的增多,Pool中的HTable增多,但互不影响;...2013-06-28 18:29:57 · 175 阅读 · 0 评论 -
HBase scannerCaching&caching
HBase Version: hbase-0.94.6-cdh4.3.0在HBase Scan中有一优化: 使用 scannerCaching&caching.意思是HBaseClient从HBase服务器一次取得多少条数据回来,减少从服务器来回取数据的次数,可以设置一次从HBase服务器取scannerCaching&caching条数据.其中scannerCac...2013-06-25 23:22:02 · 470 阅读 · 0 评论 -
HBase修改表TTL值
1.创建测试表hbase(main):010:0> create 'DCP_TEST',{NAME => 'info',VERSIONS => 1, TTL => 214783647, BLOCKCACHE => false,IN_MEMORY=>false},{NAME=>'tempData',VERSIONS=>1,TTL=>25920...2012-12-05 10:33:33 · 869 阅读 · 0 评论 -
HBase: HTablePool重构及优化
HBase Version: hbase-0.90.3-cdh3u1org.apache.hadoop.hbase.client.HTablePool用起来不是很方便. 所以重写了一些HTablePool, 对自己业务逻辑这块比较相关. 欢迎讨论.主要是对源代码下面4点进行改进和设置:1. 为不同的table建立的poolSize不一样, 目前HTablePool为所有的ta...2012-08-25 14:57:04 · 166 阅读 · 0 评论 -
HBase HLog结构和原理
一. HLog在HDFS上位置和RegionServer对应关系HLog持久化在HDFS之上, HLog存储位置查看:hadoop fs -ls /hbase/.logs通过HBase架构图, HLog与HRegionServer一一对应,Found 5 items ...原创 2013-04-11 21:06:51 · 1697 阅读 · 0 评论 -
查看HBase表在HDFS中的文件结构
为了查看HBASE表在HDFS中的文件结构.在HBASE中建立一张表结构如下:{NAME => 'USER_TEST_TABLE', MEMSTORE_FLUSHSIZE => '67108864', MAX_FILESIZE => '1073741824', FAMILIES => [{NAME => 'info', BLOOMFILTE...2013-03-30 18:41:26 · 833 阅读 · 0 评论 -
HBase -ROOT-和.META.表结构
在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServer的？本文就是在研究源码的基...原创 2013-03-29 17:35:09 · 185 阅读 · 0 评论 -
HBase架构图
HBase系统架构图Client HBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信，对于管理类操作，Client与HMaster进行RPC；对于数据读写类操作，Client与HRegionServer进行RPCZookeeper Zookeeper Quorum中除了存储了-ROOT-表的地址和HMaster的地址，HRegion...原创 2013-03-27 17:59:44 · 176 阅读 · 0 评论 -
HBase hbase-site.xml 参数
该文档是用hbase默认配置文件生成的，文件源是 hbase-default.xml。在实际的HBase生产环境中应用于%HBASE_HOME%/conf/hbase-site.xml中。hbase.rootdir这个目录是region server的共享目录，用来持久化HBase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hba...原创 2013-03-27 11:04:18 · 321 阅读 · 0 评论 -
HBase 自动安装shell脚本
#!/usr/bin/env bash#greatwqs for install hbase environment.for ip in $(cat /home/hadoop/hbase-current/conf/regionservers); do scp -r /home/hadoop/hbase-version $ip:~/; ssh $ip "ln -s /ho...原创 2013-03-23 17:46:16 · 161 阅读 · 0 评论 -
HBase性能优化方法总结
本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个...原创 2013-03-15 23:49:52 · 116 阅读 · 0 评论 -
HBase 官方文档 中文版
HBase 官方文档Copyright © 2010 Apache Software Foundation, 盛大游戏-数据仓库团队-颜开(译)Revision HistoryRevision 0.90.4 配置，数据模型使用入门Abstract这是 Apache HBase的官方文档, Hbase是一个分...原创 2012-07-03 13:04:58 · 548 阅读 · 0 评论 -
HBase Shell 命令
This page describes the JRuby IRB-based HBase Shell. It replaces the SQL-like HQL, the Shell found in HBase versions 0.1.x and previous. Some discussion of new shell requirements can be found in the S...2012-06-05 14:19:34 · 185 阅读 · 0 评论 -
HBase minor & major compactions
HBase The Definitive Guide Book Says:Since flushing memstores to disk causes more and more HFile's to be created, HBasehas a housekeeping mechanism that merges the files into larger ones using...2013-07-23 17:46:52 · 201 阅读 · 0 评论