
hbase
lijie_cq
It's never too old to learn
展开
-
HBase 默认配置
HBase 默认配置 该文档是用hbase默认配置文件生成的,文件源是 hbase-default.xml (因翻译需要,被译者修改成中文注释). hbase.rootdir 这 个目录是region server的共享目录,用来持久化Hbase。URL需要是’完全正确’的,还要包含文件系统的scheme。例如,要表示hdfs中的 ‘/hbase’目录,namenode 运行在namenod转载 2017-01-13 14:28:03 · 3179 阅读 · 0 评论 -
简单封装hbase的Java api工具类 demo,以及hbase的部分ColumFamily压缩验证
注: hbase在创建表的时候可以指定ColumFamily压缩的格式,snappy或者gz等等,并且还可以指定同一个表的不同ColumFamily使用不同的压缩格式,或者不同表不同ColumFamily有的压缩有的不压缩,而且最好是指定region的预分区。在hbase中表lijie002,创建表的时候指定cf1的压缩格式给GZ,cf2不压缩,然后查看表的描述信息如下(验证了上面的说法):项目工原创 2017-02-22 18:24:03 · 3647 阅读 · 1 评论 -
Hbase的读写流程、快照管理以及RegionServer,Region,StoreFile,Hfile,ColumFamily的关系
下面是hbase的架构图:1.hbase的写操作首先client端写操作会先访问zookeeper获取hmaster的地址,然后访问hmasterhmaster会将处理这次操作的HRegionServer服务的地址给client,然后client会去请求对应的HRegionServer如果设置了AWL(Write-Ahead-Log)预写日志,那么HRegionServer会先进行预写日志操作,并原创 2017-02-23 15:12:04 · 5539 阅读 · 0 评论 -
Hbase基于java API的增删改查(旧API)
今天熟悉了下hbase的java api,Demo如下:1.创建maven工程pom文件如下:<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org原创 2017-02-08 16:11:54 · 4592 阅读 · 0 评论 -
hbase javaapi 表定义和列族定义的具体含义
hbase是一个KeyValue型的数据库,在《hbase实战》描述它的逻辑模型【行键,列族,列限定符,时间版本】,物理模型是基于列族的。但实际情况是啥?还是上点代码吧。 HTableDescriptor tableDesc = new HTableDescriptor("test"); //日志flush的时候是同步写,还是异步写 tableDesc.转载 2017-02-22 15:25:07 · 3867 阅读 · 0 评论 -
shell和javaAPI两种方式创建hbase表并预分区
在hbase里面,如果我们建表不预分区,那么一个表的数据都会被一个region处理,如果数据过多就会执行region的split,如果数据量很大这样会很费性能,所以最好我们先根据业务的数据量在建表的时候就能指定region个数并且进行预先分区,下面说说两种创建表并且建立预分区的方法。1.shell createTable并预分区:hbase(main):002:0> create 'split0原创 2017-02-22 12:01:29 · 6434 阅读 · 0 评论 -
通过mapreduce程序读取hdfs文件写入hbase
1.在eclipse上面创建maven工程pom文件如下:<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://m原创 2017-02-09 15:00:12 · 8013 阅读 · 0 评论 -
Hbase的常用shell操作
1.进入hbase的shell界面:[root@lijie bin]# ./hbase shell2.创建表hbase(main):002:0> create 'tablename','cf1','cf2'0 row(s) in 0.5830 seconds=> Hbase::Table - tablename3.列出所有表hbase(main):003:0> listTABLE原创 2017-02-08 10:30:00 · 1565 阅读 · 0 评论 -
基于CDH5.4.5(ha)的Hbase 3节点搭建
hbase安装节点: cdhnode3 192.168.80.138 Hmaster cdhnode4 192.168.80.139 HRegionServer cdhnode5 192.168.80.140 HRegionServerzookeeper所在节点 cdhnode1 192.168.80.136 cdhnode2 192.168.80.137原创 2017-01-13 16:59:46 · 5071 阅读 · 0 评论 -
hbase和hive的相互整合(需要兼容)
也是前几天才知道,hive这玩意可以和hbase整合,就在网上找了些资料,准备用我的单节点试一试,单节点上面安装的apache版本的hbase和hive,导致整合的时候不兼容,一直报错: org.apache.hadoop.hbase.HTableDescriptor.addFamily 找不到addFamily方法,所以只有用cdh的版本了(chd有对应的安装包的版本,兼容好)已经安装hbas原创 2017-02-15 17:50:38 · 2857 阅读 · 0 评论