
__HBase
冥想者-定
缘起性空
展开
-
hbase 学习梳理
http://www.superwu.cn/?p=1443一、HBASE 简介HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统"。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在转载 2015-09-09 13:34:59 · 361 阅读 · 0 评论 -
【转载】HBase基本概念和hbase shell常用命令用法
1. 简介 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。2. HBase的表结构转载 2016-01-28 19:36:42 · 347 阅读 · 0 评论 -
du -sh *
du -sh *转载 2016-02-23 17:23:19 · 1186 阅读 · 0 评论 -
关于使用hbase进行多维度条件实时查询的方案调研。
关于使用hbase进行多维度条件实时查询的方案调研。1.MapReduce方案 优点:并发批量构建Index 缺点:不能实时构建Index 2.ITHBASE方案 缺点:需要重构hbase,几年没有更新。 3.IHBASE方案 缺点:需要重构hbase。 4.Coprocessor方案 华为的HBase二级索引采用此方案(hindex原创 2016-04-27 20:06:26 · 5120 阅读 · 1 评论 -
HBase性能优化方法总结(一):表的设计
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容:表的设计相关的优化方法。1. 表的设计1.1 Pre-Creating Regions默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户转载 2016-04-18 09:50:10 · 512 阅读 · 0 评论 -
不同数量级
不同数量级间数据存储是以10进制表示,数据传输是以2进制表示的,所以1KB不等于1000B。1KB=1024B;1MB=1024KB=1024×1024B。其中1024=210。1B(byte,字节)= 8 bit(见下文);1KB(Kibibyte,千字节)=1024B= 2^10 B;1MB(Mebibyte,兆字节,百万字节,简称“兆”)=1024转载 2016-04-18 10:05:48 · 1236 阅读 · 0 评论 -
HBase 默认配置
HBase 默认配置该文档是用hbase默认配置文件生成的,文件源是 hbase-default.xml (因翻译需要,被译者修改成中文注释).hbase.rootdir这 个目录是region server的共享目录,用来持久化Hbase。URL需要是'完全正确'的,还要包含文件系统的scheme。例如,要表示hdfs中的 '/hbase'目录,namenode 运行在nam转载 2016-04-18 11:00:22 · 559 阅读 · 0 评论 -
一个为spark批量导入数据到hbase的库
https://github.com/TopSpoofer/hbrdd转载 2016-07-25 23:23:00 · 2080 阅读 · 0 评论 -
http://www.cnblogs.com/nexiyi/p/hbase_shell.html
两个月前使用过hbase,现在最基本的命令都淡忘了,留一个备查~进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbas转载 2016-08-19 10:16:39 · 1242 阅读 · 0 评论 -
hbase 映射hive表
CREATE EXTERNAL TABLE `core_business_preview.operation_enterprise_active_daily`( `action_date` string, `enterprise_id` string, `enterprise_account` string, `industry` string,转载 2016-09-05 09:31:39 · 1914 阅读 · 0 评论 -
【甘道夫】HBase(0.96以上版本)过滤器Filter详解及实例代码
http://blog.youkuaiyun.com/u010967382/article/details/37653177 HBase FilterHBaseFilter说明:本文参考官方Ref Guide,Developer API和众多博客,并结合实测代码编写,详细总结HBase的Filter功能,并附上每类Filter的相应代码实现。本文尽量遵从Re转载 2015-11-19 20:08:40 · 453 阅读 · 0 评论 -
快速理解 Phoenix : SQL on HBASE
http://blog.youkuaiyun.com/colorant/article/details/8645081作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.youkuaiyun.com/colorant/更多云计算相关项目快速理解文档 http://blog.youkuaiyun.com/col转载 2015-11-12 23:03:56 · 413 阅读 · 0 评论 -
Phoenix二级索引那些事儿(下)
http://www.icaijing.com/hot/article4940159/Phoenix二级索引那些事儿(下)作者:中兴大数据| 发表时间:2015-7-30 03:31:18索引配置公共配置hbase-site.xmlhbase.regionserv转载 2015-11-06 15:04:26 · 1818 阅读 · 1 评论 -
HBase的特征和优点
http://blog.jobbole.com/83614/本文由 伯乐在线 - lomoxy 翻译,sunbiaobiao 校稿。未经许可,禁止转载!英文出处:informit。欢迎加入翻译组。Hbase是运行在Hadoop上的NoSQL数据库,它是一个分布式的和可扩展的大数据仓库,也就是说HBase能够利用HDFS的分布式处理模式,并从Hadoop的MapR转载 2015-09-09 13:33:19 · 3815 阅读 · 0 评论 -
HBase入门篇
http://www.uml.org.cn/sjjm/201212141.asp目录:1-HBase的安装2-Java操作HBase例子3-HBase简单的优化技巧4–存储5(集群) -压力分载与失效转发6 -白话MySQL(RDBMS)与HBase之间7 -安全&权限1-HBase的安装HBase是什么?HBase是Apac转载 2015-09-10 18:12:29 · 371 阅读 · 0 评论 -
Phoenix:在Apache HBase上执行SQL查询
http://blog.youkuaiyun.com/ricohzhanglong/article/details/8587493本文来源于我在InfoQ中文站翻译的文章,原文地址是:http://www.infoq.com/cn/news/2013/02/Phoenix-HBase-SQL近日,Salesforce.com开源了Phoenix,这是一个Java中间转载 2015-11-04 11:31:11 · 738 阅读 · 0 评论 -
Phoenix实现用SQL查询HBase
博客已转移,请借一步说话,http://www.weixuehao.com/archives/111 博客已转移,请借一步说话,http://www.weixuehao.com/archives/111 HBase,一个NoSQL数据库,可存储大量非关系型数据。HBase,可以用HBase shell进行操作,也可以用HBase Java api进行操作。HBase虽然是转载 2015-11-04 08:52:32 · 875 阅读 · 0 评论 -
MapReduce操作HBase
http://www.cnblogs.com/liqizhou/archive/2012/05/17/2504279.htmlMapReduce操作HBase运行HBase时常会遇到个错误,我就有这样的经历。 ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 tim转载 2015-11-04 17:08:14 · 456 阅读 · 0 评论 -
java.nio.ByteBuffer用法小结
http://blog.youkuaiyun.com/zhoujiaxq/article/details/22822289在NIO中,数据的读写操作始终是与缓冲区相关联的.读取时信道(SocketChannel)将数据读入缓冲区,写入时首先要将发送的数据按顺序填入缓冲区.缓冲区是定长的,基本上它只是一个列表,它的所有元素都是基本数据类型.ByteBuffer是最常用的缓冲区,它提供了读转载 2015-11-04 17:12:02 · 447 阅读 · 0 评论 -
一个计算HBase表中行数的MapReduce程序
public class RowCounter{ static final String NAME="rowcounter";static class RowCounterMapper extends TableMapper{public static enum Counters {ROWS}@overrideion public void map(Immuta转载 2015-10-06 07:41:08 · 578 阅读 · 0 评论 -
Phoenix性能优化
http://outofmemory.cn/code-snippet/7879/Phoenix-performance-tuningPhoenix性能优化一.建表优化Salting 翻译成中文是加盐的意思,本质是在hbase的rowkey的byte数组的第一个字节位置设定一个系统生成的byte值, 这个byte值是由主键生成rowkey的byte数组做一个哈希算转载 2015-11-06 15:05:07 · 2929 阅读 · 0 评论 -
HBase的Block Cache实现机制分析
http://www.cnblogs.com/panfeng412/archive/2012/09/24/hbase-block-cache-mechanism.html本文结合HBase 0.94.1版本源码,对HBase的Block Cache实现机制进行分析,总结学习其Cache设计的核心思想。1. 概述HBase上Regionserver的内存分为两个部分,一部转载 2015-11-06 14:58:50 · 421 阅读 · 0 评论 -
Hbase修改表名
Hbase修改表名需要开启快照功能,在hbase-site.xml文件中添加如下配置项:1234property> name>hbase.snapshot.enabledname> value>truevalue>property>进入hbase shell执行:12345hbase s转载 2016-09-26 15:18:26 · 2186 阅读 · 0 评论