HBase客户端API(整理 修改一下)

最新推荐文章于 2024-07-19 19:44:09 发布
最新推荐文章于 2024-07-19 19:44:09 发布
阅读量690 收藏 1
点赞数
本文详细介绍了HBase中表的基本操作流程，包括表的创建、数据的读写删除及表的删除等内容，并提供了具体的Java代码示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >



  1. 创建表：（由master完成）

  • 首先需要获取master地址（master启动时会将地址告诉zookeeper）因而客户端首先会访问zookeeper获取master的地址 
  • client和master通信，然后有master来创建表（ 包括表的列簇，是否 cache ，设置存储的最大版本数，是否压缩等 ）。 

2. 读写删除数据
  • client与regionserver通信，读写、删除数据 
  • 写入和删除数据时讲数据打上不同的标志append，真正的数据删除操作在compact时发生 
  3. 版本信息
    








HbaseConfiguration， 表示HBase的配置信息
两种构造函数如下：
  public HBaseConfiguration() -----------默认的构造方式会从hbase-default.xml和hbase-site.xml中读取配置，如果classpath中没有这两个文件，需要自己配置
public HBaseConfiguration(final Configuration c)

  1. static HBaseConfiguration cfg = null; 
  2. static { 
  3. Configuration HBASE_CONFIG = new Configuration(); HBASE_CONFIG.set("hbase.zookeeper.quorum", "192.168.1.95"); HBASE_CONFIG.set("hbase.zookeeper.property.clientPort", "2181"); 
  4.  cfg = new HBaseConfiguration(HBASE_CONFIG); 
  5. }
复制代码
创建表 

   使用HBaseAdmin对象的createTable方法
  1. public static void createTable(String tableName) { System.out.println("************start create table**********"); 
  2. try {
  3.   HBaseAdmin hBaseAdmin = new HBaseAdmin(cfg); 
  4.   if (hBaseAdmin.tableExists(tableName)) {// 如果存在要创建的表，那么先删除，再创建
  5.         hBaseAdmin.disableTable(tableName);        hBaseAdmin.deleteTable(tableName);
  6.         System.out.println(tableName + " is exist");
  7.   } 
  8.   HTableDescriptor tableDescriptor = new HTableDescriptor(tableName);// 代表表的schema  
  9.   tableDescriptor.addFamily(new HColumnDescriptor("name")); //增加列簇  
  10.   tableDescriptor.addFamily(new HColumnDescriptor("age"));
  11.   tableDescriptor.addFamily(new HColumnDescriptor("gender"));
  12.   hBaseAdmin.createTable(tableDescriptor); 
  13. }  catch (MasterNotRunningException e) {
  14.   e.printStackTrace(); 
  15. }  catch (ZooKeeperConnectionException e) {
  16.   e.printStackTrace();
  17.  } catch (IOException e) { 
  18.   e.printStackTrace(); 
  19. } 
  20. System.out.println("*****end create table*************"); }
复制代码
  1. public static void main(String[] agrs) { 
  2. try {
  3.  String tablename = "wishTest";
  4.  HBaseTest.createTable(tablename);
  5.  } catch (Exception e) {
  6.  e.printStackTrace(); 
  7.  } 
  8. }
复制代码


在centos中查看是否创建成功：
    

   网页上查看：
     

  1. 　　HTableDescriptor其他方法如下：
复制代码

  • setMaxFileSize  ，指定最大的 region size  
  • setMemStoreFlushSize    指定 memstore flush 到 HDFS 上的文件大小，默认是 64M  
  • public void addFamily(final HColumnDescriptor family) 
  1. 　HColumnDescriptor 其他方法如下：
复制代码

  • setTimeToLive: 指定最大的 TTL, 单位是 ms, 过期数据会被自动删除。 
  • setInMemory: 指定是否放在内存中，对小表有用，可用于提高效率。默认关闭 
  • setBloomFilter: 指定是否使用 BloomFilter, 可提高随机查询效率。默认关闭 
  • setCompressionType: 设定数据压缩类型。默认无压缩。 
  • setScope(scope): 集群的 Replication ，默认为 flase 
  • setBlocksize(blocksize); block 的大小默认是 64kb ， block 小适合随机读，但是可能导 Index 过大而使内存 oom, block 大利于顺序读。 
  • setMaxVersions: 指定数据最大保存的版本个数。默认为 3 。版本数最多为 Integer.MAX_VALUE,  但是版本数过多可能导致 compact 时 out of memory 。 
  • setBlockCacheEnabled: 是否可以 cache,  默认设置为 true ，将最近读取的数据所在的 Block 放入内存中，标记为 single ，若下次读命中则将其标记为 multi 

插入数据 

   使用HTable获取table    注意： HTable 不是线程安全的，因此当多线程插入数据的时候推荐使用 HTablePool   
使用put插入数据，可以单条插入数据和批量插入数据，put方法如下：
  public void put(final Put put) throws IOException 
public void put(final List puts) throws IOException

put 常用方法：
  

  • add:  增加一个 Cell  
  • setTimeStamp:  指定所有 cell 默认的 timestamp, 如果一个 Cell 没有指定 timestamp, 就会用到这个值。如果没有调用， HBase 会将当前时间作为未指定 timestamp 的 cell 的 timestamp.  
  • setWriteToWAL: WAL  是 Write Ahead Log 的缩写，指的是 HBase 在插入操作前是否写 Log 。默认是打开，关掉会提高性能，但是如果系统出现故障 ( 负责插入的 Region Server 挂掉 ) ，数据可能会丢失。  

下面两个方法会影响插入性能
  

  • setAutoFlash: 
    AutoFlush 指的是在每次调用 HBase 的 Put 操作，是否提交到 HBase Server 。默认是 true, 每次会提交。如果此时是单条插入，就会有更多的 IO, 从而降低性能。进行大量 Put 时， HTable 的 setAutoFlush 最好设置为 flase   。否则每执行一个 Put 就需要和 RegionServer 发送一个请求。如果 autoFlush = false ，会等到写缓冲填满才会发起请求。显式的发起请求，可以调用 flushCommits 。 HTable 的 close 操作也会发起 flushCommits 

  • setWriteBufferSize: 
  Write Buffer Size 在 AutoFlush 为 false 的时候起作用，默认是 2MB, 也就是当插入数据超过 2MB, 就会自动提交到 Server 
  1. public static void insert(String tableName) {
  2.  System.out.println("************start insert ************");
  3.   HTablePool pool = new HTablePool(cfg, 1000);
  4.  Put put = new Put("1".getBytes());// 一个PUT代表一行数据,每行一个唯一的ROWKEY，此处rowkey为1   
  5.  put.add("name".getBytes(), null, "wish".getBytes());// 本行数据的第一列 
  6.  put.add("age".getBytes(), null, "20".getBytes());// 本行数据的第三列
  7.  put.add("gender".getBytes(), null, "female".getBytes());// 本行数据的第三列 
  8.  try {
  9.  pool.getTable(tableName).put(put);
  10.  } catch (IOException e) {
  11.  e.printStackTrace();
  12.  } 
  13. System.out.println("************end insert************"); }
复制代码
  1. public static void main(String[] agrs) {
  2.  try {
  3.  String tablename = "wishTest";
  4.  HBaseTest.insert(tablename); 
  5.  } catch (Exception e) {
  6.  e.printStackTrace(); 
  7.  } 
  8. }
复制代码
日志信息如下：
   ************start insert ************ 
14/05/18 15:01:17 WARN hbase.HBaseConfiguration: instantiating HBaseConfiguration() is deprecated. Please use HBaseConfiguration#create() to construct a plain Configuration 
14/05/18 15:01:17 INFO zookeeper.ZooKeeper: Client environment:zookeeper.version=3.4.5-1392090, built on 09/30/2012 17:52 GMT 
14/05/18 15:01:17 INFO zookeeper.ZooKeeper: Client environment:host.name=LJ-PC 
14/05/18 15:01:17 INFO zookeeper.ZooKeeper: Client environment:java.version=1.6.0_11 
14/05/18 15:01:17 INFO zookeeper.ZooKeeper: Client environment:java.vendor=Sun Microsystems Inc. 
14/05/18 15:01:17 INFO zookeeper.ZooKeeper: Client environment:java.home=D:javajdk1.6.0_11jre 
..... 
14/05/18 15:01:17 INFO zookeeper.ZooKeeper: Client environment:java.compiler= 
14/05/18 15:01:17 INFO zookeeper.ZooKeeper: Client environment:os.name=Windows Vista 
14/05/18 15:01:17 INFO zookeeper.ZooKeeper: Client environment:os.arch=x86 
14/05/18 15:01:17 INFO zookeeper.ZooKeeper: Client environment:os.version=6.1 
14/05/18 15:01:17 INFO zookeeper.ZooKeeper: Client environment:user.name=root 
14/05/18 15:01:17 INFO zookeeper.ZooKeeper: Client environment:user.home=C:UsersLJ 
14/05/18 15:01:17 INFO zookeeper.ZooKeeper: Client environment:user.dir=D:javaeclipse4.3-jee-kepler-SR1-win32workspacehadoop 
14/05/18 15:01:17 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=192.168.1.95:2181 sessionTimeout=180000 watcher=hconnection 
14/05/18 15:01:17 INFO zookeeper.RecoverableZooKeeper: The identifier of this process is 1252@LJ-PC 
14/05/18 15:01:17 INFO zookeeper.ClientCnxn: Opening socket connection to server hadoop/192.168.1.95:2181. Will not attempt to authenticate using SASL (无法定位登录配置) 
14/05/18 15:01:17 INFO zookeeper.ClientCnxn: Socket connection established to hadoop/192.168.1.95:2181, initiating session 
14/05/18 15:01:17 INFO zookeeper.ClientCnxn: Session establishment complete on server hadoop/192.168.1.95:2181, sessionid = 0x460dd23bda000b, negotiated timeout = 180000 
************end insert************ 

查看插入结果：
    

查询数据 

  分为单条查询和批量查询，单条查询通过get查询。 通过HTable的getScanner实现批量查询
  public Result get(final Get get)   //单条查询
public ResultScanner getScanner(final Scan scan)  //批量查询

单条查询：
  1. public static void querySingle(String tableName) {
  2.         HTablePool pool = new HTablePool(cfg, 1000);
  3.         try {
  4.          Get get = new Get("1".getBytes());// 根据rowkey查询
  5.          Result r = pool.getTable(tableName).get(get); 
  6.  System.out.println("rowkey:" + new String(r.getRow()));
  7.    for (KeyValue keyValue : r.raw()) {
  8.      System.out.println("列：" + new String(keyValue.getFamily()) + " 值:" + new String(keyValue.getValue())); 
  9.    }
  10.         } catch (IOException e) { 
  11.           e.printStackTrace(); 
  12.         } 
  13. }
复制代码


批量查询：
  1. public static void queryAll(String tableName) { 
  2.        HTablePool pool = new HTablePool(cfg, 1000);
  3.         try {
  4.           ResultScanner rs = pool.getTable(tableName).getScanner(new Scan());
  5.           for (Result r : rs) {
  6.           System.out.println("rowkey:" + new String(r.getRow())); 
  7.               for (KeyValue keyValue : r.raw()) {
  8.                   System.out.println("列：" + new String(keyValue.getFamily()) + " 值:" + new String(keyValue.getValue()));
  9.                }
  10.          } 
  11.        } catch (IOException e) {
  12.         e.printStackTrace();
  13.        }
  14. }
复制代码
  1. public static void createTable(String tableName) { System.out.println("************start create table**********"); try {  HBaseAdmin hBaseAdmin = new HBaseAdmin(cfg); if (hBaseAdmin.tableExists(tableName)) {// 如果存在要创建的表，那么先删除，再创建
  2.         hBaseAdmin.disableTable(tableName);        hBaseAdmin.deleteTable(tableName);        System.out.println(tableName + " is exist"); } HTableDescriptor tableDescriptor = new HTableDescriptor(tableName);// 代表表的schema  tableDescriptor.addFamily(new HColumnDescriptor("name")); //增加列簇  tableDescriptor.addFamily(new HColumnDescriptor("age")); tableDescriptor.addFamily(new HColumnDescriptor("gender")); hBaseAdmin.createTable(tableDescriptor); } catch (MasterNotRunningException e) { e.printStackTrace(); } catch (ZooKeeperConnectionException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } System.out.println("*****end create table*************"); } 0
复制代码
结果如下：
   rowkey:1 
列：age 值:20 
列：gender 值:female 
列：name 值:wish 
rowkey:112233bbbcccc 
列：age 值:20 
列：gender 值:female 
列：name 值:wish 
rowkey:2 
列：age 值:20 
列：gender 值:female 
列：name 值:rain 

删除数据

  使用HTable的delete删除数据：
  public void delete(final Delete delete)

  eg:
  1. public static void createTable(String tableName) { System.out.println("************start create table**********"); try {  HBaseAdmin hBaseAdmin = new HBaseAdmin(cfg); if (hBaseAdmin.tableExists(tableName)) {// 如果存在要创建的表，那么先删除，再创建
  2.         hBaseAdmin.disableTable(tableName);        hBaseAdmin.deleteTable(tableName);        System.out.println(tableName + " is exist"); } HTableDescriptor tableDescriptor = new HTableDescriptor(tableName);// 代表表的schema  tableDescriptor.addFamily(new HColumnDescriptor("name")); //增加列簇  tableDescriptor.addFamily(new HColumnDescriptor("age")); tableDescriptor.addFamily(new HColumnDescriptor("gender")); hBaseAdmin.createTable(tableDescriptor); } catch (MasterNotRunningException e) { e.printStackTrace(); } catch (ZooKeeperConnectionException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } System.out.println("*****end create table*************"); } 1
复制代码
结果如下：
  ****************************删除前数据**********************
  rowkey:1 
列：age 值:20 
列：gender 值:female 
列：name 值:wish 
rowkey:112233bbbcccc 
列：age 值:20 
列：gender 值:female 
列：name 值:wish 
rowkey:2 
列：age 值:20 
列：gender 值:female 
列：name 值:rain 
删除行成功! 
****************************删除后数据********************** 
rowkey:1 
列：age 值:20 
列：gender 值:female 
列：name 值:wish 
rowkey:2 
列：age 值:20 
列：gender 值:female 
列：name 值:rain 

删除表

    和hbase shell中类似，删除表前需要先disable表 ；分别使用disableTable和deleteTable来删除和禁用表 
同创建表一样需要使用HbaseAdmin
eg：
  1. public static void createTable(String tableName) { System.out.println("************start create table**********"); try {  HBaseAdmin hBaseAdmin = new HBaseAdmin(cfg); if (hBaseAdmin.tableExists(tableName)) {// 如果存在要创建的表，那么先删除，再创建
  2.         hBaseAdmin.disableTable(tableName);        hBaseAdmin.deleteTable(tableName);        System.out.println(tableName + " is exist"); } HTableDescriptor tableDescriptor = new HTableDescriptor(tableName);// 代表表的schema  tableDescriptor.addFamily(new HColumnDescriptor("name")); //增加列簇  tableDescriptor.addFamily(new HColumnDescriptor("age")); tableDescriptor.addFamily(new HColumnDescriptor("gender")); hBaseAdmin.createTable(tableDescriptor); } catch (MasterNotRunningException e) { e.printStackTrace(); } catch (ZooKeeperConnectionException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } System.out.println("*****end create table*************"); } 2
复制代码
结果：
  table: wishTest删除成功！

完整代码
  1. public static void createTable(String tableName) { System.out.println("************start create table**********"); try {  HBaseAdmin hBaseAdmin = new HBaseAdmin(cfg); if (hBaseAdmin.tableExists(tableName)) {// 如果存在要创建的表，那么先删除，再创建
  2.         hBaseAdmin.disableTable(tableName);        hBaseAdmin.deleteTable(tableName);        System.out.println(tableName + " is exist"); } HTableDescriptor tableDescriptor = new HTableDescriptor(tableName);// 代表表的schema  tableDescriptor.addFamily(new HColumnDescriptor("name")); //增加列簇  tableDescriptor.addFamily(new HColumnDescriptor("age")); tableDescriptor.addFamily(new HColumnDescriptor("gender")); hBaseAdmin.createTable(tableDescriptor); } catch (MasterNotRunningException e) { e.printStackTrace(); } catch (ZooKeeperConnectionException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } System.out.println("*****end create table*************"); } 3
复制代码

68道Hbase高频题整理(附答案背诵版)
IT6666_it的博客
06-13 2065
Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它利用HBase技术在HDFS上提供了类似于Bigtable的能力。换句话说，Hbase是Apache Hadoop生态系统中的一部分，可以为大数据应用提供快速的随机读写访问。为了更好地理解，我们可以将Hbase想象成一个巨大的表格，这个表格可以存储数十亿行和数百万列的数据。但与传统的关系型数据库不同，Hbase更适合存储非结构化和半结构化的稀疏数据。
【面试宝典】68道Hbase高频题库整理(附答案背诵版)
最新发布
tyler的博客
07-27 5476
Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它利用HBase技术在HDFS上提供了类似于Bigtable的能力。换句话说，Hbase是Apache Hadoop生态系统中的一部分，可以为大数据应用提供快速的随机读写访问。为了更好地理解，我们可以将Hbase想象成一个巨大的表格，这个表格可以存储数十亿行和数百万列的数据。但与传统的关系型数据库不同，Hbase更适合存储非结构化和半结构化的稀疏数据。
hbase 1.0 API 修改说明
01-22
hbase 1.0 对api做了较大改动，该文件对此做了详细说明
Hbase记录-HBase客户端API
weixin_30550271的博客
10-23 165
本章介绍用于对HBase表上执行CRUD操作的HBase Java客户端API。 HBase是用Java编写的，并具有Java原生API。因此，它提供了编程访问数据操纵语言(DML)。 HBaseConfiguration类 添加 HBase 的配置到配置文件。这个类属于org.apache.hadoop.hbase包。 方法及说明 S.No.方法及说明 1 stati...
Hbase1.0 客户端api
silent1的专栏
05-28 6583
最近在试用Hbase1.0的API，发觉变化还是挺大。到处都是deprecated。最后搞出了这么一套。 为什么要改成这样呢？只知其然，不知其所以然。 Configuration  conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum", "192.168.4.11,192.168.4.22,192.
HBase客户端API使用
小黑
07-21 9597
篇幅中使用的HBase版本为1.1.2 Java API HBase提供了一套Java API来支持Java程序对HBase数据库的请求操作，在hbase shell中能够使用的都可以通过这套API来实现 HBase有两套API，分别是1.0和2.0，在较新版本的HBase中使用1.0的API时，很多类和方法都被标记为Deprecated，官方表示旧版本的API将会在3.0版本中删除，
Hbase 学习笔记（一）: 基础客户端API
iteye_19215的博客
10-31 200
一、环境   在Hadoop上快速搭建Hbase环境非常简单，下载软件包解压以后写好配置文件就可以直接运行了，不多作叙述。   二、基础客户端API 1、Bytes类     Hbase中所有的值都是以字节数组的形式存在的，所以在使用客户端API和Hbase交互的过程中难免会经常的要操作字节数组，这里Hbase提供了一个工具类，Bytes类。其中有很多的静态方法可以方便的将各种类型的值转...
HBase 2.x核心技术
日常分享数据分析开发、编程语言内容
03-09 1254
HBase 2.x核心技术
Hbase总结整理
weixin_43644153的博客
03-12 836
1_hbase介绍 1_hbase介绍 什么是hbase？ 1、hbase是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统； 2、是一个典型的key/value系统； 3、仅能通过主键（row key）和主键的range来检索数据，不支持join等复杂操作，计算和存储能力主要依靠横向扩展。 hbase集群结构 ...
HBase 进阶
功不唐捐，玉汝于成
07-19 1023
HBase进阶，Master 架构、RegionServer 架构、文件合并以及Region切分
hbase java api 访问 增加修改删除（一）
11-23
hbase java api 访问 增加修改删除（一） 详情请看：http://blog.youkuaiyun.com/wild46cat/article/details/53306621
Hbase Java API详解.pdf
03-30
Hbase Java API详解 是开发hbase 数据库很好的收　对初学者有好友
HBase 客户端API
josephhao的博客
11-20 268
Hbase 客户端API
hbase 客户端_HBase客户端API
weixin_39860583的博客
12-01 293
本文介绍用于对HBase表上执行CRUD操作的HBase Java客户端API。 HBase是用Java编写的，并具有Java原生API。因此，它提供了编程访问数据操纵语言(DML)。HBaseConfiguration类添加 HBase 的配置到配置文件。这个类属于org.apache.hadoop.hbase包。方法及说明HTable类HTable表示HBase表中HBase的内部类。它用于实...
HBase API客户端操作
凉茶铺的博客
10-31 296
介绍了如何使用Java代码的方式来操作HBase数据库
Hbase之JAVA API增删查改
小方的博客
07-07 676
Hbase增删改查
HBase客户端API基本操作
吃果冻不吐果冻皮
06-30 1624
Java类与HBase数据模型 HBaseConfiguration 包名 ： org.apache.hadoop.hbase.HBaseConfiguration 作用：对HBase进行配置。 用法示例： HBaseConfiguration hconfig = new HBaseConfiguration(); hconfig.set("hbase.zookeeper.prope
HBase客户端API-表操作
kongxx的专栏
01-29 504
上一篇博客说了使用 HBase 的客户端 API 来操作管理 HBase 中的表，今天我们看看怎样通过 API 来操作表中的数据。 介绍 在 HBase 中对数据表中的数据的操做我们一般是通过 Table， Put， Get， Delete，Scan，Result等几个类来实现。 Table 是表对象，对应数据库中的一张表，我们可以在表上执行添加，修改，删除和查询操作。 Put 主要是
HBase 客户端API --写的工具类
鲍礼彬的优快云博客 ~_~
05-27 2241
代码如下，可以直接拿来使用： package hbase1; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HColumn
深入理解HBase：权威指南学习笔记整理
HBase主要由四个主要部分组成：客户端、主服务器（Master Server）、区域服务器（Region Server）和HBase存储。主服务器负责管理区域服务器，维护表的元数据信息，处理表的创建、删除、修改等操作。区域服务器负责...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值