
【大数据】Hbase
【大数据】Hbase
辉哥大数据
余辉,硕士毕业于中科院,从事IT行业12年。专注于大数据、云数据、用户画像、推荐算法。在数据团队担任过的角色:研发、架构师、负责人、讲师。数据知识产权:出版大数据书籍【1】本,论文【2】篇,软著【6】篇,专利【65】篇。
展开
-
HBase BulkLoad批量写入数据实战
目录1.概述2.内容2.1 实现原理2.2. 生成HFile文件2.3. 执行预览2.4 使用BulkLoad导入到HBase2.4.1 代码实现导入2.4.2 使用HBase命令进行导入2.5 验证3.总结1.概述在进行数据传输中,批量加载数据到HBase集群有多种方式,比如通过HBase API进行批量写入数据、使用Sqoop工具批量导数到HBase集群、使用Map...原创 2019-11-18 16:20:02 · 599 阅读 · 0 评论 -
hbase基本命令
进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)> whoami表的管理原创 2016-04-03 09:10:41 · 915 阅读 · 0 评论 -
squirrel-sql通过phoenix-4.7.0连接windows中的hbase-1.1.3(二)
注意:等squirrel-sql软件安装完毕后需要做的2件事情1、将phoenix中的lib放到hbase中2、将phoenix中的lib放到squirrel-sql中现在是squirrel-sql安装步骤这里是启动squirrel-sql,前提是hbase启动、Phoenix的lib已经放入hbase和squ原创 2016-06-08 21:55:36 · 4309 阅读 · 2 评论 -
squirrel-sql通过phoenix-4.7.0连接windows中的hbase-1.1.3(一)
第一步:下载hbase-1.1.3-bin.tar.gz 和 hadoop-2.6.0.tar.gz我放在D盘中的java路径下面在第二步:将 winutils.exe 放入 adoop-2.6.0\bin中http://pan.baidu.com/s/1nver1m5 64n3第三步:配置hadoop的环境变量原创 2016-05-25 21:14:27 · 1607 阅读 · 0 评论 -
HBase的RowKey设计
阅读目录2.1.1 Rowkey长度原则2.1.2 Rowkey散列原则2.1.3 Rowkey唯一原则2.2.1 针对事务数据Rowkey设计2.2.2 针对统计数据的Rowkey设计2.2.3 针对通用数据的Rowkey设计2.2.4 支持多条件查询的RowKey设计1 概述HBase是一个分布式的、面向列的数据库,它和一般关系型数据库的最大区别是:HBase很原创 2016-06-09 15:16:09 · 1794 阅读 · 0 评论 -
Hbase的API
package cn.yc.com.base.data;/** * * ClassName: RecordBean * @Description: 实时访客Hbase表映射 * @author 余辉 * @date 2015-8-18 */public class RecordBean { private String rowkey;原创 2016-05-23 22:14:27 · 1119 阅读 · 0 评论 -
几张图看懂列式存储
最近看到一篇很好资料,里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了,牛啊!最喜欢的就是这种浅显易懂就把背景知识讲得明明白白,而不是长篇大论的讲概念。 为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表(翻译不好,直转载 2016-07-14 17:14:12 · 931 阅读 · 0 评论 -
squirrel-sql通过phoenix-4.7.0连接windows中的hbase-1.1.3(三)
Intellij IDEA 15.0.2 操作 phoenix-4.7.0Configpackage phoenix;import com.typesafe.config.ConfigFactory;import java.util.Properties;/** * Created by yuhui on 2016/1/15. */cl原创 2016-06-14 17:02:18 · 2180 阅读 · 0 评论 -
Apache HBase region 拆分
目录一、描述二、提前分区三、自动分区四、强制分区五、参考连接一、描述 在Hbase中split是一个很重要的功能,Hbase是通过把数据分配到一定数量的region来达到负载均衡的。一个table会被分配到一个或多个region中,这些region会被分配到一个或者多个regionServer中。在自动split策略中,当一个re...原创 2019-09-19 18:14:12 · 768 阅读 · 0 评论