
Bigdatda-HBase
礼彬fly
这个作者很懒,什么都没留下…
展开
-
HBase基本用法 (二)
HBase基本用法 (二) 1、查看所有表: 2、查看表列族: 3、插入记录:以xiaobao 为行健: 以xiaobin 为行健: 4、获取一个行健的所有数据: 5、获取一个行健,一个列族所有数据: 6、获取一个行健,一个列族中一个列所有数据: 7、更新一条记录: 8、通过times原创 2015-02-05 10:48:43 · 689 阅读 · 0 评论 -
(8-1)伪分布HBase整合Zookeeper
-----------------------------------------------------------------hadoop2.6.0+Zookeeper3.4.6+HBase0.99.2---------------------------------------------------hadoop2.6.0+Zookeeper3.4.6+HBase0.99.2整合前提:原创 2015-05-10 22:40:08 · 2185 阅读 · 0 评论 -
hbase权威指南阅读随手笔记二之过滤器
base过滤器的比较操作符:LESS LESS_OR_EQUAL EQUAL =NOT_EQUAL GREATER_OR_EQUAL >=GREATER >NO_OP no operation比较器:BinaryComparator 按字节索引顺序比较指定字节数组,采用Bytes.compareTo(byte[])转载 2015-05-27 13:48:25 · 1435 阅读 · 0 评论 -
HBase数据的导入导出
HBase数据的导入导出1、导出:hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名 导出存放路径其中数据文件位置可为本地文件目录,也可以分布式文件系统hdfs的路径。当其为前者时,直接指定即可,也可以加前缀file:///而当其为后者时,必须明确指明hdfs的路径,例如hdfs://192.168.1.20原创 2015-05-28 01:09:09 · 8279 阅读 · 0 评论 -
HBase 客户端API --写的工具类
代码如下,可以直接拿来使用:package hbase1;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HColumn原创 2015-05-27 20:45:44 · 2228 阅读 · 0 评论 -
mapreduce输出数据存入HBase中
数据格式:1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 200事先在HBase里把表创建好:create 'mr_hbases','cf'代码如下:package mrhbase;import java.i原创 2015-05-27 20:46:12 · 3741 阅读 · 0 评论 -
HBase过滤器简介
HBase过滤器简介 HBase过滤器(filter)提供非常强大的特性帮助用户提高其处理表中数据的效率。 HBase中两种主要的数据读取函数是get()和scan(),他们都支持直接访问数据和通过指定起止行键访问数据的功能。Get和Scan两个类都支持过滤器,理由是因为这类对象提供的API不能对行健、列名和列值进行过滤,但是通过过滤器可以直接这个目的。 过滤器最基本的原创 2015-05-27 15:17:25 · 3500 阅读 · 0 评论 -
Jsp显示HBase的数据
Jsp显示HBase的数据 软件:Jdk1.7、eclipse ee、vmware安装好的CentOs6.5、Hadoop-2.6.0、HBase-0.99.2 1、建一个普通的动态Web程序,用导jar包运行,不用maven和ant。 2、把HBase和Hadoop的相应的jar包导进工程中;主要是运行HBase API,把指定表名和行键的内容读出来。原创 2015-05-31 23:39:25 · 3350 阅读 · 1 评论 -
大数据性能调优之HBase的RowKey设计
1 概述HBase是一个分布式的、面向列的数据库,它和一般关系型数据库的最大区别是:HBase很适合于存储非结构化的数据,还有就是它基于列的而不是基于行的模式。既然HBase是采用KeyValue的列存储,那Rowkey就是KeyValue的Key了,表示唯一一行。Rowkey也是一段二进制码流,最大长度为64KB,内容可以由使用的用户自定义。数据加载时,一般也是根据Rowke转载 2015-07-02 20:39:26 · 1604 阅读 · 0 评论 -
HBase Rowkey的散列与预分区设计
HBase中,表会被划分为1...n个Region,被托管在RegionServer中。Region二个重要的属性:StartKey与EndKey表示这个Region维护的rowKey范围,当我们要读/写数据时,如果rowKey落在某个start-end key范围内,那么就会定位到目标region并且读/写到相关的数据。简单地说,有那么一点点类似人群划分,1-15岁为小朋友,16-39岁为年轻人转载 2015-07-10 17:36:50 · 887 阅读 · 0 评论 -
HBase的LSM树
HBase的LSM树讲LSM树之前,需要提下三种基本的存储引擎,这样才能清楚LSM树的由来:哈希存储引擎 是哈希表的持久化实现,支持增、删、改以及随机读取操作,但不支持顺序扫描,对应的存储系统为key-value存储系统。对于key-value的插入以及查询,哈希表的复杂度都是O(1),明显比树的操作O(n)快,如果不需要有序的遍历数据,哈希表就是your Mr.Righ转载 2015-07-05 22:57:31 · 1305 阅读 · 0 评论 -
Hbase配置项粗解(2)
Hbase配置项粗解(2)hbase的配置接上篇hbase.client.write.buffer:htable客户端写缓冲区大小,默认是2097152BYTE,这个缓冲区就是为了写数据的临时存放,设置大了,浪费客户端和服务端的存储,设置小了,如果写的数据多,太多的RPC又带来网络开销,官方给的一个服务端存储耗费评估计算是:hbase.client.write.buffer*h转载 2015-04-22 18:28:20 · 1418 阅读 · 0 评论 -
Hbase配置项粗解(1)
继之前写的设计和使用tip,这里补充一下hbase所有的配置项。之前涉及的一个项目在hbase设计上存在缺陷,当进入时已经存在着很多rowkey设计和读写问题,现在重读hbase文档,把所有的配置项整理一遍。hbase.tmp.dir:本地文件系统的临时目录,默认是java.io.tmpdir/hbase−{user.name};hbase.rootdir:hbase持久化的目录,转载 2015-04-22 18:25:05 · 931 阅读 · 0 评论 -
HBase基本用法 (一)
HBase基本用法 (一) 1、通过Web 查看hbase状态:http://localhost:60010/master.status 如下:如下:如下: 2、help查看帮助: 3、查看数据库状态: 4、查看数据库版本: 5、创建表: 6、查看表信息: 7、使表离线:原创 2015-02-05 10:33:21 · 809 阅读 · 0 评论 -
hadoop-1.2.1伪分布配置hbase-0.98.0
hadoop-1.2.1伪分布配置hbase-0.98.0 1、 可以查看hadoop-1.2.1 与hbase-0.98.0 版本是否兼容:打开hbase的压缩包: 2、解压完毕,查看 hbase/conf 里面的配置文件: 3、编辑 hbase-env.sh 文件: 4、进行配置:一共三处:Jdk和hadoop:Hbase用自己的原创 2015-02-04 21:12:03 · 1086 阅读 · 0 评论 -
HBase的eclipse操作环境配置
HBase的eclipse操作环境配置 以hadoop-1.2.1伪分布环境为操作环境。 1、新建一个 Java project: 2、把hbase解压目录下的lib文件夹下,所有jar导进项目里面去: 然后: 导入完毕: 3、在项目里面新建一个文件夹,把hbase的配置文件hbase-site.xml 拷贝进去:原创 2015-02-09 16:07:30 · 1331 阅读 · 0 评论 -
hbase java api操作
HBase提供了对HBase进行一系列的管理涉及到对表的管理、数据的操作java api。常用的API操作有: 1、 对表的创建、删除、显示以及修改等,可以用HBaseAdmin,一旦创建了表,那么可以通过HTable的实例来访问表,每次可以往表里增加数据。 2、 插入数据 创建一个Put对象,在这个Put对象里可以指定要给哪个列增加数据,以及当前的时间戳等转载 2015-02-09 16:49:06 · 791 阅读 · 0 评论 -
HBase的eclipse操作Java API
HBase的eclipse操作Java API 1、 创建一个表: Console显示结果:查看操作结果: 2、 添加一条数据: 主函数操作: 其中:xiaobaozi是表名,cf是表的一个列族,AWM是行健,laobing是一个列,huaju是列的具体值。 Console显示结果: 查看操作结果原创 2015-02-09 16:19:46 · 1524 阅读 · 0 评论 -
HBase-0.90.4集群安装配置
HBase是Hadoop数据库,能够实现随机、实时读写你的Big Data,它是Google的Bigtable的开源实现,可以参考Bigtable的论文Bigtable: A Distributed Storage System for Structured。HBase的存储模型可以如下三个词来概括:distributed, versioned, column-oriented。HBase并非转载 2015-02-11 23:18:45 · 953 阅读 · 0 评论 -
HBase技术介绍
HBase简介HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行M转载 2015-02-10 18:10:34 · 572 阅读 · 0 评论 -
HBase简介(很好的梳理资料)
HBase简介(很好的梳理资料)一、 简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useabl转载 2015-02-10 17:13:04 · 747 阅读 · 0 评论 -
轻松搭建hadoop-1.2.1集群(5)—配置HBase集群
轻松搭建hadoop-1.2.1集群(5)—配置HBase集群 1、解压hbase:hbase解压在 /usr/local/ 目录里面:[root@hadoop0 local]# pwd/usr/local[root@hadoop0 local]# ll总用量 216592drwxr-xr-x. 7 root root 4096 2月 23 14:31 hba原创 2015-02-23 23:33:53 · 1752 阅读 · 0 评论 -
Hadoop-2.6.0伪分布--安装配置hbase
Hadoop-2.6.0伪分布--安装配置hbase1、用到的hadoop与hbase: 2、安装hadoop:具体安装看这篇博文:http://blog.youkuaiyun.com/baolibin528/article/details/42939477 hbase所有版本下载http://archive.apache.org/dist/hbase/3、原创 2015-01-27 00:31:55 · 5060 阅读 · 1 评论 -
Hbase总结(六)hbase37个笔试题
原文地址:http://blog.youkuaiyun.com/lifuxiangcaohui/article/details/39961643以下试题是摘自互联网的基础上自己加了选项说明解释便于自己以后看时方便节省时间1. HBase来源于哪篇博文? CA The Google File SystemB MapReduceC BigTable转载 2015-07-06 01:04:14 · 1331 阅读 · 0 评论