HBase笔记
关注
分享
扫一扫
文章平均质量分 86
HBase笔记
一直不懂
笔记
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【HBase】20-HBase与MapReduce集成
当用户使用 MapReduce作业从表中读取数据时,实质上是使用 TableInputFormat取得数据。它符合 MapReduce框架,并重载了公有方法 getSplits()和 createRecordreader()。在一个作业被执行前,框架调用 netSplit(来决定如何划分块(chunk),从而由块数目决定映射任务的数目。对于 HBase来说, TableInputFormat基...转载 2018-12-12 23:47:15 · 1137 阅读 · 0 评论 -
【HBase】19-HBaseAdmin
客户端提供了API的模式来管理集群,与 RDBMS中的DDL相比—客户端提供的具有管理功能的API更像是DML。HBaseAdmin提供了建表、创建列族、检查表是否存在、修改表结构和列族结构和删除表等功能。下面我们对这些功能按操作关联性分组进行介绍。1、基本操作使用管理的API需要首先实例化 HBaseAdmin类,构造函数如下HBaseAdmin(Configuration co...转载 2018-12-12 22:46:44 · 2795 阅读 · 0 评论 -
【HBase】18-模式定义
在HBase中建表涉及到表结构以及所有涉及的列族列族结构的定义,这些定义关系到表和列族内的数据如何存储以及何时存储。1、表在 HBase中数据最终会存储在一张表或多张表中,使用表的主要原因是控制表中的所有列以达到共享表内的某些特性的目的,一个典型的例子是定义表的列族。下面是表描述符的构造函数 /** * Default constructor which constructs...转载 2018-12-12 00:32:19 · 449 阅读 · 0 评论 -
【HBase】17-协处理器
1、协处理器简介使用客户端API,配合筛选机制,例如,使用过滤器或限制列族的范围,都可以控制被返回到客户端的数据量。如果可以更进一步优化会更好,例如,数据的处理流程直接放到服务器端执行,然后仅返回一个小的处理结果集。这类似于一个小型的MapReduce框架,该框架将工作分发到整个集群。协处理器允许用户在 region服务器上运行自己的代码,更准确地说是允许用户执行region级的操作,并且可...转载 2018-12-11 01:12:34 · 1805 阅读 · 0 评论 -
【HBase】16-计数器
许多收集统计信息的应用有点击流或在线广告意见,这些应用需要被收集到日志文件中用于后续的分析。用户可以使用计数器做实时统计,从而放弃延时较高的批量处理操作。1、计数器简介与之前介绍的原子操作检查并修改( check-and- modify)一样, HBase也有一种机制可以将列当作计数器。否则,如果用户需要对一行数据加锁,然后读取数据,再对当前数据做加法,最后写回 HBase并释放该行锁,从...转载 2018-12-09 15:28:15 · 1763 阅读 · 0 评论 -
【HBase】15-自定义过滤器
用户可能需要按各自的需求实现自定义过滤器。用户可以实现 Filter接口或者直接继承 FilterBase类,后者已经为接口中所有成员方法提供了默认实现。Filter接口的结构如下:public abstract class Filterextends ObjectInterface for row and column filters directly applied within...转载 2018-12-09 15:28:01 · 471 阅读 · 0 评论 -
【HBase】14-HBase过滤器
HBase过滤器( filter)提供了非常强大的特性来帮助用户提高其处理表中数据的效率。用户不仅可以使用 HBase中预定义好的过滤器,而且可以实现自定义的过滤器。下HBase中两种主要的数据读取函数是get()和scan(),它们都支持直接访问数据和通过指定起止行键访问数据的功能。读者可以在查询中添加更多的限制条件来减少查询得到的数据量,这些限制可以是指定列族、列、时间戳以及版本号。这些方...转载 2018-12-09 15:27:50 · 467 阅读 · 0 评论 -
【HBase】13-HBase行锁
像put()、 delete()、 checkAndPut(这样的修改操作是独立执行的,这意味着在一个行方式的执行中,对于每一行必须保证行级别的操作是原子性的。 region服务器提供了一个行锁( row lock)的特性,这个特性保证了只有一个客户端能获取一行数据相应的锁,同时对该行进行修改。在实践中,大部分客户端应用程序都没有提供显式的锁,而是使用这个机制来保障每个操作的独立性。用户应该尽可...转载 2018-12-09 15:27:34 · 1183 阅读 · 0 评论 -
【HBase】12-HBase JAVA客户端
1、配置HBaseConfiguration包：org.apache.hadoop.hbase.HBaseConfiguration作用：通过此类可以对HBase进行配置用法实例：Configuration config = HBaseConfiguration.create();说明： HBaseConfiguration.create() 默认会从classpath ...转载 2018-12-09 15:27:22 · 314 阅读 · 0 评论 -
【HBase】11-HBase排序方式
所有数据模型操作HBase以排序的顺序返回数据。首先是行，然后是ColumnFamily，然后是列限定符，最后是时间戳(按顺序排序，所以首先返回最新的记录)。转载 2018-12-09 15:27:05 · 4110 阅读 · 1 评论 -
【HBase】10-版本
一个{行，列，版本}元组在HBase中指定了一个单元格。可以有无限个单元格，其中行和列相同，但单元格地址只在版本维度上不同。虽然行和列键表示为字节，但是版本是使用一个长整数指定的。通常，这么长的时间包含由java.util.Date.getTime()或System.currentTimeMillis()返回的时间实例，即:当前时间与1970年1月1日UTC午夜之间的差，以毫秒为单位。HB...转载 2018-12-08 22:15:52 · 687 阅读 · 0 评论 -
【HBase】09-命名空间
命名空间是与关系数据库系统中的数据库类似的表的逻辑分组。这种抽象为即将到来的多租户相关特征奠定了基础：配额管理（HBASE-8410）——限制名称空间可以消耗的资源量（即区域、表）。 名称空间安全管理（HBASE-9206）——为租户提供另一级别的安全管理。 区域服务器组（HBASE-6721）——名称空间/表可以绑定到RegionServer的子集上，从而保证了粗略的隔离级别。1、名称...转载 2018-12-08 21:52:36 · 615 阅读 · 0 评论 -
【HBase】08-物理视图
虽然在概念级别上，表可以看作是一组稀疏的行，但是它们是按列族物理存储的。一个新的列限定符(column_family:column_qualifier)可以在任何时候添加到现有的列族中。Table 7. ColumnFamilyanchor Row Key Time Stamp Column Familyanchor "com.cnn.www" ...转载 2018-12-08 14:26:31 · 593 阅读 · 2 评论 -
【HBase】07-概念视图
有一个名为webtable的表，包含两行（com.cnn.www和com.example.www）和三个列族，分别命名为contents,anchor, 和people。在这个例子中，对于第一行（com.cnn.www），锚包含两列(anchor:cssnsi.com,anchor:my.look.ca)，内容包含一列(contents:html)。此示例包含具有行键com.cnn.www的...转载 2018-12-08 14:15:22 · 791 阅读 · 0 评论 -
【HBase】06-HBase重要配置
1、推荐配置1.1、ZooKeeper配置zookeeper.session.timeout默认超时为三分钟（毫秒指定）。这意味着，如果服务器崩溃，在主服务器发现崩溃并开始恢复之前需要三分钟。您可能需要将超时调整到一分钟或更短的时间，以便大师更快地发现故障。在更改此值之前，请确保JVM垃圾收集配置处于控制之下，否则，持续超过ZooKeeper会话超时的长垃圾收集将占用RegionServ...转载 2018-12-08 14:06:12 · 583 阅读 · 0 评论 -
【HBase】05-HBase配置样例
正如在Hadoop中向hdfs-site.xml文件添加特定于站点的HDFS配置一样，对于HBase，特定于站点的定制进入文件conf/hbase-site.xml。有关可配置属性的列表，请参阅下面的hbase默认配置，或在src/main/resources处查看HBase源代码中的原始hbase-default.xml源文件。并非所有配置选项都能使其符合hbase-default.xml。一...转载 2018-12-08 13:34:18 · 175 阅读 · 0 评论 -
【HBase】04-HBase配置文件
HBase的配置系统与Hadoop一致。在所有的配置文件位于conf/目录，它需要被保持在每个节点的同步你的集群。backup-masters默认情况下不存在。一个纯文本文件，每行一个主机地址，用作Master的备份进程。hadoop-metrics2-hbase.properties用于连接HBase Hadoop的Metrics2框架。请参阅Hadoop Wiki条目获取更多...转载 2018-12-08 13:15:13 · 525 阅读 · 0 评论 -
【HBase】03-Shell技巧
1、表变量HBase 0.95添加了为表提供JRuby风格的面向对象引用的shell命令。以前所有作用于表的shell命令都具有始终以表的名称作为参数的调用形式。HBase 0.95介绍了将表分配给JRuby变量的能力。表引用可用于执行数据读写操作，如放置、扫描和获取，以及管理功能，如禁用、删除和描述表。例如，以前您总是指定一个表名：hbase(main):000:0> cre...转载 2018-12-08 13:00:36 · 215 阅读 · 0 评论 -
【HBase】02-HBase Shell基本操作
名称 命令表达式 创建表 create '表名', '列族名1','列族名2','列族名N' 查看所有表 list 描述表 describe ‘表名’ 判断表存在 exists '表名' ...转载 2018-12-08 02:38:10 · 744 阅读 · 0 评论 -
【HBase】01-HBase安装
HBase依赖JDK，安装HBase前确定主机是否已经安装了该版本对应的JDK版本。HBase Version JDK 7 JDK 8 JDK 9 JDK 10 2.0 Not Supported yes Not Supported Not Supported ...转载 2018-12-08 02:07:04 · 397 阅读 · 0 评论