hbase
关注
分享
扫一扫
liyonghui123
唐山人士
展开
-
Hbase通过 Mapreduce 写入数据到Mysql
<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <...原创 2015-01-16 10:10:53 · 279 阅读 · 0 评论 -
HBase Java Api详解
一、HBaseConfiguration关系：org.apache.hadoop.hbase.HBaseConfiguration作用：对HBase进行配置 返回值 函数 描述 void addResource(Path file) 通过给定的路径所指的文件来添加资源 void clear() 清空所有已设置的属性 strin...原创 2014-09-26 17:17:30 · 113 阅读 · 0 评论 -
TableExistsException: hbase:namespace
准备记录下我在学习和工作中遇到的hbase报错信息及解决方案。 描述：HMaster启动之后自动挂掉，并且master的log里出现“TableExistsException: hbase:namespace”字样，很可能是更换了Hbase的版本过后zookeeper还保留着上一次的Hbase设置，所以造成了冲突。 解决：zookeeper还保留着上一次的Hbase设置，...原创 2014-09-22 14:57:58 · 243 阅读 · 0 评论 -
hive hbase集成
Mapr框架安装完后，安装与配置hbase、hive。其中mapr框架的安装路径为/opt/maprHbase的安装路径为/opt/mapr/hbase/hbase-0.90.4Hive的安装路径为/opt/mapr/hive/hive-0.7.1整合hive与hbase的过程如下：1． 将文件 /opt/mapr/hbase/hbase-0.90.4/hbase-0.90.4.jar ...原创 2014-09-16 10:59:33 · 144 阅读 · 0 评论 -
HBaseClient
package com.feng.scheduler.log;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.commons.lang.StringUtils;import org.apache.hadoop....原创 2016-04-13 16:38:17 · 428 阅读 · 1 评论 -
HBase MapReduce实例分析
跟Hadoop的无缝集成使得使用MapReduce对HBase的数据进行分布式计算非常方便，本文将介绍HBase下 MapReduce开发要点 package hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hado...原创 2014-09-04 10:59:15 · 147 阅读 · 0 评论 -
HBase Java Api
注意： HTablePool是HBase连接池的老用法，该类在0.94，0.95和0.96中已经不建议使用，在0.98.1版本以后已经移除，仅供参考 HBase提供了Java Api的访问接口，掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要，本文介绍常用的Api。 将HBase解压后根目录下的hbase-0.90.2.jar、hbase-0.90.2-tes...原创 2014-09-04 10:08:22 · 306 阅读 · 0 评论 -
Hive读取hbase数据
Mapr框架安装完后，安装与配置hbase、hive。其中mapr框架的安装路径为/opt/maprHbase的安装路径为/opt/mapr/hbase/hbase-0.90.4Hive的安装路径为/opt/mapr/hive/hive-0.7.1整合hive与hbase的过程如下：1． 将文件 /opt/mapr/hbase/hbase-0.90.4/hbase-0.90.4.jar 与...原创 2015-03-13 08:55:37 · 164 阅读 · 0 评论 -
HBase基本数据操作详解
引言 之前详细写了一篇HBase过滤器的文章，今天把基础的表和数据相关操作补上。 本文档 参考最新 （截止2014年7月16日）的 官方 Ref Guide、 Developer API编写 。 所有代码均基于“hbase 0.96.2-hadoop2 ”版本编写，均实测通过。 概述 对于建表，和RDBMS类似，HBase也有names...原创 2015-02-23 14:22:04 · 400 阅读 · 0 评论 -
用新的Java API（>=0.96.0）操作HBase数据库
package com.my.hbase;import java.io.IOException;import java.util.*;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase....原创 2015-02-09 16:03:18 · 133 阅读 · 0 评论 -
HBase预分区设计
HBase中，表会被划分为1...n个Region，被托管在RegionServer中。Region二个重要的属性:StartKey与 EndKey表示这个Region维护的rowKey范围，当我们要读/写数据时，如果rowKey落在某个start-end key范围内，那么就会定位到目标region并且读/写到相关的数据。简单地说，有那么一点点类似人群划分，1-15岁...原创 2015-02-09 11:15:37 · 661 阅读 · 0 评论 -
Hive建分区表语句
** 用户属性表（日） ************************************************************CREATE TABLE ZB_DWD.DWD_D_PRD_AL_USER_ATTR_PROV(MONTH_ID STRING,PROV_ID STRING,USER_ID STRING,ATTRIBUTE_TYPE...原创 2015-02-06 15:47:33 · 361 阅读 · 0 评论 -
HbaseUtils，HBase Java Api
package com.xx.xx.service.spark;import java.io.IOException;import java.util.ArrayList;import java.util.Arrays;import java.util.Collection;import java.util.HashMap;import java.u...原创 2015-02-06 14:14:44 · 211 阅读 · 0 评论 -
从hbase加载数据到hdfs
package example2; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoo...原创 2015-01-16 17:02:18 · 224 阅读 · 0 评论 -
从hadoop取出文件写入hbase表中
package example2;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.KeyValue;i...原创 2015-01-16 17:01:11 · 272 阅读 · 0 评论 -
hdfs Map\Reduce到haase
1. 上传数据到hdfs中2. 写Map\Reduce过程3. 输出结果到hbase中Tips：1. 因为map是从hdfs中取数据，因此没有太大变化；而reduce需要输出结果到hbase中，所以这里继承了 TableReduce<keyin,valuein,keyout>，这里没有valueout，但是规定TableReduce的 valueout必须是Pu...原创 2015-01-16 16:53:41 · 100 阅读 · 0 评论 -
Hbase1.1.2的HTablePool已经被弃用，用什么来代替HTablePool呢？
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.ConnectionFactory;import org.apache.hadoop.hbase.client.Conn...原创 2016-02-01 17:04:56 · 756 阅读 · 0 评论