HBase
关注
分享
扫一扫
文章平均质量分 88
匿名啊啊啊
这个作者很懒，什么都没留下…
展开
-
HBase学习之路 （一）HBase集群安装
[TOC]目录正文一、前提1、HBase 依赖于 HDFS 做底层的数据存储2、HBase 依赖于 MapReduce 做数据计算3、HBase 依赖于 ZooKeeper 做服务协调4、HBase源码是java编写的，安装需要依赖JDK二、版本选择1、 找到官网下载 hbase 安装包 hbase-1.2.6-bin.tar.gz，这里给大家提供一个下载地址：http://mirrors.hus...原创 2018-03-30 14:04:02 · 363 阅读 · 0 评论 -
用API连接HBase
1、pom文件：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="原创 2018-06-13 20:54:23 · 595 阅读 · 0 评论 -
Hbase学习（七）- 协处理器
Hbase 高级编程目录：1、协处理器—Coprocessor2、协处理加载方式3、二级索引（ObserverCoprocessor 案例）Hbase 高级编程1、协处理器—Coprocessor1.1 、起源Hbase 作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(<0.92)Hbase 中，统计数据表的总行数，需要使用...原创 2018-04-06 13:18:38 · 468 阅读 · 0 评论 -
HBase学习（六）过滤器
目录1、过滤器（Filter）2、HBase过滤器的分类2.1、比较过滤器3、专用过滤器 正文：1、过滤器（Filter） 基础API中的查询操作在面对大量数据的时候是非常苍白的，这里Hbase提供了高级的查询方法：Filter。Filter可以根据簇、列、版本等更多的条件来对数据进行过滤，基于Hbase本身提供的三维有序（主键有序、列有序、版本有序），这些Filter可以高效的完成查询过滤的任...原创 2018-04-05 23:03:29 · 714 阅读 · 0 评论 -
HBase学习之路 （八）HBase的API操作
HBase API操作表和数据package HomeWork1;import java.io.IOException;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache...原创 2018-04-15 22:22:49 · 289 阅读 · 0 评论 -
HBase分页查询API
使用API对Hbase的存储的数据进行分页显示：实现思路：把pageIndex转换成startRow。让每一页的最后一个rowkey往后挪动一点位置，但是又不会是下一页的startRow。主程序代码：package hbase;import java.util.Iterator;import org.apache.commons.lang.StringUtils;import org.a...原创 2018-04-02 22:53:29 · 2381 阅读 · 0 评论 -
Hbase 学习（五）-HBase表的设计原则
目录1、Hbase 高级应用1.1、建表高级属性1.2、表设计1、Hbase 高级应用1.1、建表高级属性下面几个 shell 命令在 hbase 操作中可以起到很到的作用，且主要体现在建表的过程中，看下面几个 create 属性1、 BLOOMFILTER默认是 NONE 是否使用布隆过虑及使用何种方式，布隆过滤可以每列族单独启用使用 HColumnDescriptor.setBloomFilt...原创 2018-04-05 22:39:34 · 315 阅读 · 0 评论 -
HBase学习（四）HBase原理
目录1、HBase 底层原理1.1、系统架构1.2、物理存储1.2.1、整体物理结构1.2.2、StoreFile 和 HFile 结构1.2.3、MemStore 和 StoreFile1.2.4、HLog(WAL)1.3、寻址机制1.3.1、老的 Region 寻址方式1.3.2、新的 Region 寻址方式1.4、读写过程1.4.1、读请求过程1.4.2、写请求过程1.5、RegionSer...原创 2018-04-02 20:53:48 · 307 阅读 · 0 评论 -
HBase 结合 MapReduce（HDFSToHBase）
题目要求：把HDFS上的一个student.txt文件，传输到HBase上。源文件：95002,刘晨,女,19,IS95017,王风娟,女,18,IS95018,王一,女,19,IS95013,冯伟,男,21,CS95014,王小丽,女,19,CS95019,邢小丽,女,19,IS95020,赵钱,男,21,IS95003,王敏,女,22,MA95004,张立,男,19,IS95...原创 2018-04-01 20:17:31 · 753 阅读 · 0 评论 -
HBase 结合 MapReduce（HBaseToHDFS ）
题目要求：求取HBase中，student表中学生年龄的平均值；传输到HDFS上。元数据： 95001 column=info:age, timestamp=1522577362980, value=20 ...原创 2018-04-01 20:03:29 · 449 阅读 · 0 评论 -
Hbase学习（三）shell操作
目录进入HBase命令行HBase表的操作创建create查看表列表list查看表的详细信息desc修改表的定义alterHBase表中数据的操作增put查get + scan删delete正文进入HBase命令行：在你安装的随意台服务器节点上，执行命令：hbase shell，会进入到你的 hbase shell 客户端[potter@potter2 ~]$ hbase shellSLF4J:...原创 2018-03-31 17:15:26 · 1250 阅读 · 2 评论 -
HBase学习之路 （二）HBase基础介绍
目录产生背景HBase简介关系型数据库 和 非关系型数据库的典型代表HBase 这个 NoSQL 数据库的要点结构化、半结构化和非结构化HBase 中的表特点 HBase表结构逻辑视图 名词概念正文：产生背景自 1970 年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后，好多公司实现处理大数据并从中受益，并开始选择像 Hadoop 的解决方案。Hadoop 使用分布式文件系统...原创 2018-03-30 19:49:05 · 367 阅读 · 0 评论 -
spark 数据写入到 hbase
1）spark把数据写入到hbase需要用到：PairRddFunctions的saveAsHadoopDataset方法，这里用到了 implicit conversion，需要我们引入import org.apache.spark.SparkContext._2）spark写入hbase，实质是借用了org.apache.hadoop.hbase.mapreduce.TableInpu...原创 2018-07-26 18:31:35 · 2745 阅读 · 0 评论