【大数据计算】(二) HBase 的安装和基础编程_singlecolumvaluefilter介绍

最新推荐文章于 2025-04-27 13:16:16 发布

2401_84185441

最新推荐文章于 2025-04-27 13:16:16 发布

阅读量791

点赞数 10

分类专栏：程序员文章标签：大数据 hbase oracle

本文链接：https://blog.youkuaiyun.com/2401_84185441/article/details/138421878

版权

程序员专栏收录该内容

115 篇文章

订阅专栏


![在这里插入图片描述](https://img-blog.csdnimg.cn/388380fb2b064b958dd2c23ec93fc48f.png)


### 3.2 添加数据

put ‘student’,‘95001’,‘Sname’,‘LiYing’


![在这里插入图片描述](https://img-blog.csdnimg.cn/43020307568f4ad5855cc574ba550b4c.png)

put ‘student’,‘95001’,‘Ssex’,‘male’


![在这里插入图片描述](https://img-blog.csdnimg.cn/94305b17aab24e95b1074dcee5b31fc0.png)


### 3.3 查看数据

get ‘student’,‘95001’


![在这里插入图片描述](https://img-blog.csdnimg.cn/6eba05648ea44c0e810dc1d2bc16cca9.png)


### 3.4 删除数据


在 Hbase 中用 delete 以及 deleteall 命令进行删除数据操作  
 **区别：**  
 `delete` 用于删除一个单元格数据，是 put 的反向操作；  
 `deleteall` 用于删除一行数据

delete ‘student’,‘95001’,‘Ssex’


![在这里插入图片描述](https://img-blog.csdnimg.cn/8ed6666621224e8c9ef8cdf6fe72ec52.png)


### 3.5 删除表


删除表需要分两步操作  
 **第一步先让该表不可用，第二步删除表。**  
 比如，要删除student表，可以使用如下命令：

disable ‘student’

drop ‘student’


![在这里插入图片描述](https://img-blog.csdnimg.cn/73283644a0d54ec5b1e5ff7bb94b464d.png)


### 3.6 查询历史记录


* 先创建一个`teacher`表

create ‘teacher’,{NAME=>‘username’,VERSIONS=>5}


* 不断put数据  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/685b86668a2f46968a433ca1388b5c31.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCP55Sf5Yeh5LiA,size_20,color_FFFFFF,t_70,g_se,x_16)


查询时，默认情况下回显示当前最新版本的数据，如果要查询历史数据，需要指定查询的历史版本数，由于上面设置了保存版本数为5，所以，在查询时制定的历史版本数的有效取值为1到5，具体命令如下：

get ‘teacher’,‘91001’, {COLUMN=>‘username’,VERSIONS=>3}


下面是查询版本号为3的  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/97a1e6d0d2e149e1b6aec2d16719da6b.png)


### 3.7 退出HBase数据库

exit


![在这里插入图片描述](https://img-blog.csdnimg.cn/6840d58692fd41d488a271f39dbb30d4.png)


## 4. HBase编程实践


1. 在IDEA创建项目
2. 为项目添加需要用到的JAR包


JAR包位于HBase安装目录下  
 如位于：/usr/local/hbase/lib目录下，单击界面中的Libraries选项卡，再单击界面右侧的Add External JARs按钮，选中/usr/local/hbase/lib目录下的所有JAR包，点击OK，继续添加JAR包，选中client-facing-thirdparty下的所有JAR文件，点击OK。


3. 编写Java应用程序  
 如果程序里面示例网址“hdfs://localhost:9000/hbase”，运行时出错，可以把” localhost ”改成” master ”。
4. 编译运行


### 4.1 编程题 API文档


#### 4.1.1 第一题


![在这里插入图片描述](https://img-blog.csdnimg.cn/d4359ed1c6ff469db7b2b44d4dc643ba.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCP55Sf5Yeh5LiA,size_20,color_FFFFFF,t_70,g_se,x_16)


利用4中的程序，创建上表：表scores的概念视图如上图所示


* 用学生的名字name作为行键（rowKey）
* 年级grade是一个只有一个列的列族
* score是一个列族。
* 每一门课程都是score的一个列，如English、math、Chinese等。score 的列可以随时添加。


添加如下数据：




| Name | Grade | English | Math | Chinese |
| --- | --- | --- | --- | --- |
| Leelei | 6 | 78 | 88 | 90 |
| Dandan | 6 | 95 | 100 | 92 |
| Sansan | 6 | 67 | 99 | 60 |
| Zhanshan | 6 | 66 | 66 | 66 |


* 创建表

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.HBaseConfiguration;
import java.io.IOException;

public class Create {
public static Configuration configuration;
public static Connection connection;
public static Admin admin;
//建立连接
public static void init(){
configuration = HBaseConfiguration.create();
configuration.set(“hbase.rootdir”,“hdfs://localhost:9000/hbase”);
try{
connection = ConnectionFactory.createConnection(configuration);
admin = connection.getAdmin();
}catch (IOException e){
e.printStackTrace();
}
}
//关闭连接
public static void close(){
try{
if(admin != null){
admin.close();
}
if(null != connection){
connection.close();
}
}catch (IOException e){
e.printStackTrace();
}
}

public static void CreateTable(String tableName) throws IOException {
    if (admin.tableExists(TableName.valueOf(tableName))) {
        System.out.println("Table Exists!!!");
    }
    else{
        HTableDescriptor tableDesc = new HTableDescriptor(tableName);
        tableDesc.addFamily(new HColumnDescriptor("grade"));
        tableDesc.addFamily(new HColumnDescriptor("score"));
        tableDesc.addFamily(new HColumnDescriptor("score.english"));
        tableDesc.addFamily(new HColumnDescriptor("score.math"));
        tableDesc.addFamily(new HColumnDescriptor("score.chinese"));
        admin.createTable(tableDesc);
        System.out.println("Create Table Successfully .");
    }
}

public static void main(String[] args) {
    String tableName = "scores\_zqc";
    try {
        init();
        CreateTable(tableName);
        close();
    } catch (Exception e) {
        e.printStackTrace();
    }
}

}


![在这里插入图片描述](https://img-blog.csdnimg.cn/a35351e96595469da15f2bf7ca5aa9cd.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCP55Sf5Yeh5LiA,size_20,color_FFFFFF,t_70,g_se,x_16)


* 插入数据

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import java.io.IOException;

public class Insert {
public static Configuration configuration;
public static Connection connection;
public static Admin admin;
//建立连接
public static void init(){
configuration = HBaseConfiguration.create();
configuration.set(“hbase.rootdir”,“hdfs://localhost:9000/hbase”);
try{
connection = ConnectionFactory.createConnection(configuration);
admin = connection.getAdmin();
}catch (IOException e){
e.printStackTrace();
}
}
//关闭连接
public static void close(){
try{
if(admin != null){
admin.close();
}
if(null != connection){
connection.close();
}
}catch (IOException e){
e.printStackTrace();
}
}

public static void InsertRow(String tableName, String rowKey, String colFamily, String col, String val) throws IOException {
    Table table = connection.getTable(TableName.valueOf(tableName));
    Put put = new Put(rowKey.getBytes());
    put.addColumn(colFamily.getBytes(), col.getBytes(), val.getBytes());
    System.out.println("Insert Data Successfully");
    table.put(put);
    table.close();
}

public static void main(String[] args) {
    String tableName = "scores\_zqc";
    String[] RowKeys = {
            "dandan",
            "sansan",
    };
    String[] Grades = {
            "6",
            "6",
    };
    String[] English = {
            "95",
            "87"
    };
    String[] Math = {
            "100",
            "95",
    };
    String[] Chinese = {
            "92",
            "98",
    };
    try {
        init();
        int i = 0;
        while (i < RowKeys.length){
            InsertRow(tableName, RowKeys[i], "grade", "", Grades[i]);
            InsertRow(tableName, RowKeys[i], "score", "english", English[i]);
            InsertRow(tableName, RowKeys[i], "score", "math", Math[i]);
            InsertRow(tableName, RowKeys[i], "score", "chinese", Chinese[i]);
            i++;
        } //031904102 zqc
        close();
    } catch (Exception e) {
        e.printStackTrace();
    }
}

}


![在这里插入图片描述](https://img-blog.csdnimg.cn/461489a85e5241e6be672c590c8865a0.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCP55Sf5Yeh5LiA,size_20,color_FFFFFF,t_70,g_se,x_16)


* hbase shell中查看数据


![在这里插入图片描述](https://img-blog.csdnimg.cn/8a1464ff4daa4acd9fc57ae8945594c0.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCP55Sf5Yeh5LiA,size_20,color_FFFFFF,t_70,g_se,x_16)


#### 4.1.2 第二题


创建并插入相关数据后，查看Hbase java api 文档  
 在ExampleForHBase 类中添加两个个函数分别实现一个rowKey 过滤器（RowFilter）以及一个单列值过滤器(SingleColumValueFilter)；  
 之后通过这两个函数分别做如下查询：


* 插入成功  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/89107567f15840af8ad46c85572918cc.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCP55Sf5Yeh5LiA,size_20,color_FFFFFF,t_70,g_se,x_16)


1. 查询Zhangshan 的年级以及相关成绩，打印在控制台中并截图。
2. 查询数学成绩低于100的所有人的名字，打印在控制台中并截图。


* 插入数据

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;

import java.io.IOException;

public class InsertTwo {
public static Configuration configuration;
public static Connection connection;
public static Admin admin;
//建立连接
public static void init(){
configuration = HBaseConfiguration.create();
configuration.set(“hbase.rootdir”,“hdfs://localhost:9000/hbase”);
try{
connection = ConnectionFactory.createConnection(configuration);
admin = connection.getAdmin();
}catch (IOException e){
e.printStackTrace();
}
}
//关闭连接
public static void close(){
try{
if(admin != null){
admin.close();
}
if(null != connection){
connection.close();
}
}catch (IOException e){
e.printStackTrace();
}
}

public static void InsertRow(String tableName, String rowKey, String colFamily, String col, String val) throws IOException {
    Table table = connection.getTable(TableName.valueOf(tableName));
    Put put = new Put(rowKey.getBytes());
    put.addColumn(colFamily.getBytes(), col.getBytes(), val.getBytes());
    System.out.println("Insert Data Successfully");
    table.put(put);
    table.close();
}

public static void main(String[] args) {
    String tableName = "scores\_zqc\_two";
    String[] RowKeys = {
            "Leelei",
            "Dandan",
            "Sansan",
            "Zhanshan",
    };
    String[] Grades = {
            "6",
            "6",
            "6",
            "6",
    };
    String[] English = {
            "78",
            "95",
            "67",
            "66",
    };
    String[] Math = {
            "78",
            "95",
            "100",
            "66",
    };
    String[] Chinese = {
            "90",
            "92",
            "60",
            "66",
    };
    try {
        init();
        int i = 0;
        while (i < RowKeys.length){
            InsertRow(tableName, RowKeys[i], "grade", "", Grades[i]);
            InsertRow(tableName, RowKeys[i], "score", "english", English[i]);
            InsertRow(tableName, RowKeys[i], "score", "math", Math[i]);
            InsertRow(tableName, RowKeys[i], "score", "chinese", Chinese[i]);
            i++;
        }
        close();
    } catch (Exception e) {
        e.printStackTrace();
    }
}

}


![在这里插入图片描述](https://img-blog.csdnimg.cn/60a5e5f27ece4617becbecc725877fc4.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCP55Sf5Yeh5LiA,size_20,color_FFFFFF,t_70,g_se,x_16)


* 查询

import java.io.IOException;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Result;

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

dmin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Result;

[外链图片转存中…(img-t1pnPlwc-1714733175422)]
[外链图片转存中…(img-0CKoAM9O-1714733175422)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取