Java操作HBase实战:从创建表到数据增删查

springBoot连接hbase,用java操作hbase,实现增删改查功能 简介 hbase在hadoop的大数据生态里扮演者不可或缺的作用,特别在数据的实时查询方面; 当hbase的分布式集群在linux服务器搭建起来之后,我们需要使用java客户端去连接调用,实现数据的增删查改; 本篇博客整合了springBoot与hbase的连接与调用,版本配置:hadoop2.7.6;hbase1.3.3;springboot1.5.9 实践 首先,需要配置本机的host... 阅读详情

快速体验

  1. 打开 InsCode(快马)平台 https://www.inscode.net
  2. 输入框输入如下内容
    帮我开发一个HBase表管理系统,用于演示Java操作HBase的核心功能。系统交互细节:1.创建dept和emp表 2.添加测试数据 3.查询数据 4.删除表。注意事项:需先启动HDFS和HBase服务。
  3. 点击'项目生成'按钮,等待项目生成完整后预览效果

示例图片

核心操作流程详解

  1. 环境准备 HBase操作前需要确保HDFS和HBase服务已启动。通过命令行执行start-dfs.sh和start-hbase.sh,等待约20秒初始化完成。验证方式是用hadoop fs -ls /hbase查看目录是否存在。若遇到进程冲突,需先执行stop命令清理旧进程。

  2. Java连接HBase 通过HBaseConfiguration.create()创建配置对象,再使用ConnectionFactory建立连接。注意2.X版本推荐使用新API,旧版HBaseAdmin已被弃用。连接建立后需及时关闭资源,避免内存泄漏。

  3. 表管理操作

  4. 创建表:先构建TableDescriptor定义表结构,通过Admin.createTable()执行
  5. 删除表:需先disableTable()禁用再deleteTable()删除 关键区别在于HBase 1.X使用HTableDescriptor,而2.X改用TableDescriptorBuilder构建表描述符

  6. 数据操作技巧

  7. 插入数据:创建Put对象指定行键、列族和值,通过Table.put()写入
  8. 查询数据:Get对象获取单行数据,Scan配合ResultScanner实现全表扫描 注意处理字节数组转换,使用Bytes.toBytes()和new String(valueBytes,"utf-8")进行编码转换

  9. 版本兼容性处理 实际开发中需注意API版本差异,例如:

  10. 2.X版本同时支持新旧API但推荐使用Builder模式
  11. 列族描述符从HColumnDescriptor变为ColumnFamilyDescriptor
  12. 生产环境建议明确版本号以避免运行时错误

避坑指南

  1. 服务启动问题 若出现datanode running as process报错,表明服务未正常关闭。此时需要:

  2. 执行stop-hbase.sh和stop-dfs.sh

  3. 删除/tmp目录下相关pid文件
  4. 重新格式化HDFS(仅首次部署需要)
  5. 再次启动服务

  6. 资源释放要点 所有Connection、Table和ResultScanner对象都必须显式关闭,推荐使用try-finally块确保资源释放。未关闭连接会导致ZooKeeper连接数暴涨。

  7. 数据类型陷阱 HBase所有数据都以字节数组存储,需要注意:

  8. 数值类型需特殊处理(如Bytes.toInt())
  9. 字符串要明确指定编码格式
  10. 时间戳默认自动生成,也可手动指定

示例图片

扩展应用场景

  1. 二级索引方案 通过创建辅助表实现,但会牺牲写入性能。替代方案包括:
  2. 使用Phoenix插件
  3. 协处理器构建索引
  4. 外部搜索引擎整合

  5. 批量操作优化 高频写入场景建议:

  6. 使用BufferedMutator替代单条put
  7. 设置合适的write buffer大小
  8. 禁用auto-flush提升吞吐量

  9. 实时监控实现 通过HBaseAdmin的getClusterStatus()获取集群指标,或集成Prometheus+Grafana实现可视化监控。

平台体验建议

在InsCode(快马)平台实践时,可以直接生成基础项目框架,重点体验:

  1. 不同版本API的差异处理
  2. 数据操作的原子性验证
  3. 性能调优参数设置

示例图片

实际测试发现其内置的HBase环境已预配置好,省去了繁琐的环境搭建过程,特别适合快速验证功能逻辑。对于复杂查询场景,还可以直接调整代码实时查看执行效果。

Hbase的java客户端 基础代码 pom.xml 连接hbase 对名称空间操作 对表操作 增删查改 Hbase的Utils工具类代码 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; import org.apache.hadoo 阅读详情

相关推荐

Hbase学习以及hbase下表的增删查操作

HBase解析及运用

gongrui_59的博客 711

头歌 HBase(相关的五个实验)

头歌 HBase(相关的五个实验)

weixin_61657766的博客 3万+

【Hbase】hbase的shell操作(2)

hbase的shell操作,hbase增删改查,hbase数据操作

hx1156477702的博客 2285

HBase 开发:使用Java操作HBase

HBase 开发:使用Java操作HBase

qq_51954214的博客 4637

HBase--对数据的增删查改操作

对hbase数据的操作

gongrui_59的博客 9122

大数据_Hbase-API访问_Java操作Hbase_数据操作_命名空间创建_表创建_表查询---Hbase工作笔记0013

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】:170933152 我们上一节判断了某个表是否存在,然后我们这次来接着操作数据 可以看到上面我们判断了某个表是否存在 接下来我们判断命名空间是否存在,我们可以看到判断这个命名空间如果不存在我们就去创建命名空间对吧. 但是这样可以嘛 可以看,这个getNamespaceDescriptor这个方法,会抛异常对吧. 所以这里我们就加异常处理 出异常了以后,表示没有这个命名空间对吧,我们就创建 怎

添柴程序猿的专栏 663

java操作hbase,增删查改

java操作hbase,增删查改 例子功能说明 不说废话,直接开始,撸代码。hbase的介绍查看其他博主文章 首先插入三个用户数据,遍历发现是没有问题的,之后删除一个用户,再次查看所有用户,发现该用户成功删除。 重要代码都有注释说明,这样应该比我贴完代码讲解看的舒服,有问题可留言评论。 pom依赖 <!-- hbase --> <dependency> ...

下雨了_简的博客 649

从零到一:手把手教你用HFSS仿真60GHz圆极化磁电偶极子天线(附参数调优心得)

本文详细介绍了在HFSS中设计60GHz圆极化磁电偶极子天线的全流程,包括仿真环境搭建、参数化建模、收敛性优化和性能验证。通过系统化的参数扫描和优化策略,显著提升了天线的轴比带宽和增益性能,为毫米波通信应用提供了高效的天线设计解决方案。

weixin_42614269的博客 312

Hbase API以及java如何操作Hbase的说明

1.文章目的 本文主要包括两个方面的内容,一是Hbase Java API简介;二是一个完整的Java项目访问Hbase的步骤及示例代码。 本文档假设读者已在VMware上安装centOS虚拟机,并且已成功安装配置好Hadoop伪集群和Hbase数据库 2.Hbase的javaAPI简介 2.1几个相关类与HBase数据模型之间的对应关系 3.重点类介绍 3.1.HBaseConfigurati...

zhangbinch的博客 1292

微信内置浏览器抓包全攻略:从ADB配置到Chrome调试(附常见问题解决)

本文提供了一套完整的微信内置浏览器抓包与调试解决方案。从ADB工具的深度配置与稳定性连接开始,详细讲解了如何开启X5内核调试开关,并利用Chrome DevTools建立远程连接。文章重点剖析了Network面板进行网络请求抓取、性能分析和问题定位的实战技巧,并附带了设备连接失败、无网络请求等常见问题的排查指南,帮助开发者高效解决微信H5页面调试难题。

gitlab7runner的博客 547

人形机器人核心架构梳理

定义:机器人是能进行运动、操纵或定位且具有一定程度自主能力的可编程执行机构。按外在形态分类可分为传统机器人和人形机器人,其中人形机器人是一种利用人工智能和机器人技术制造的具有类似人类外观和行为的机器人。

小海聊智造 1万+

Hbase之启动与停止及表相关操作

下面来记录并分享下如何启动和停止hbase: 一、需要安装jdk1.8及以上版本 二、Hbase下载地址 https://www.apache.org/dyn/closer.lua/hbase/ 三、hbase解压缩 $tar xzvf hbase-3.0.0-SNAPSHOT-bin.tar.gz $cd hbase-3.0.0-SNAPSHOT/ 四、设置JAVA_HOME环境变量 expo...

清风自来 2343

从聊天框到AI智能体:Agent原理、落地路径与工程实践

大模型时代,AI智能体(Agent)正从概念走向工程实践。与传统的聊天框一问一答不同,Agent强调目标驱动、任务拆解、工具调用与自主执行,其核心是一个由大模型、工具集、记忆和控制循环构成的闭环系统。理解这一原理,是开发者从“提问者”升级为“任务定义者”的关键。Agent的技术价值在于能处理重复性信息收集、多步骤内容生产、代码辅助和数据分析等真实场景,显著提升自动化水平。然而,大多数用户仍停留在聊天框阶段,原因包括产品入口、用户习惯、使用成本和提示词能力等多重因素。从聊天框平滑迁移到Agent,需要经历目标

weixin_29048309的博客 326

HBase 详细API操作

环境准备 新建项目后在pom.xml中添加依赖: <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.3.1</version> </depe...

@小刘同学nice 1万+

10X Visium空间转录组学入门:从芯片结构到数据分析全流程解析(附避坑指南)

本文全面解析10X Visium空间转录组学技术,从芯片物理结构、探针化学原理到湿实验全流程操作与避坑指南,并详细介绍了从FASTQ数据到空间可视化的核心分析流程。文章旨在帮助科研人员跨越从理论到实操的鸿沟,掌握从样本准备、文库构建到使用Space Ranger和Seurat进行数据分析与可视化的完整路径,为组织生物学研究提供清晰的实践指引。

weixin_29306011的博客 166

AI脸部替换Roop-Unleashed,一键整合包教程

Roop-Unleashed是一个无须训练模型的深度伪造工具,专为图像和视频的面部替换而设计。它通过简洁的浏览器界面提供用户友好且跨平台的使用体验,无论用户是业余爱好者还是专业人士,都能快速上手。它无需复杂的设置即可实现高效的处理和转换,使图像和视频的编辑变得更加轻松和便捷。

m0_72580657的博客 1万+

分布式数据库HBase 中的增删查改基本操作

分布式数据库HBase 中的增删查改基本操作 一、HBase介绍        HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable:一个结构化数据的分布式存储系统》。HBase以表的形式存储数据,表有行和列组成,列划分为若干个列族/列簇(column family)。 欲了解HBa...

云淡风轻ing的博客 1658

从生成到检测:全面解析Deepfake技术的演进与对抗策略

本文全面解析了Deepfake技术的演进与对抗策略,从GAN生成技术到先进的检测手段,探讨了其在娱乐与安全领域的双重影响。文章详细介绍了Deepfake的核心原理、技术迭代关键节点以及最新的检测方法,揭示了AI生成与识别的激烈博弈。同时,展望了量子计算和生物特征认证在未来攻防战中的潜在应用。

jenkins8butler的博客 256

创建maven工程,通过java api访问hbase,对表的操作,对数据的操作,代码详细解释

一,对表的操作 void abort(String why, Throwable e) 终止客户端或服务器 void closeRegion(byte[] regionname, String serverName) 关闭region void createTable(TableDescriptor desc) voi...

weixin_45116412的博客 567

【VTKExamples::PolyData】第十六期 GradientFilter

本文分享VTK样例GradientFilter,并解析接口vtkGradientFilter & vtkAssignAttribute,希望对各位小伙伴有所帮助!

qq_40041064的博客 322

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

HBase javaAPI(二):实现对表简单的增删查改

前面讲个JavaAPI几个主要类的使用方法 这次使用JavaAPI实现在hbase上 新建、删除表,以及在表里面插入、删除、查询数据,里面有注释 package Demo; import java.io.IOException; import java.util.ArrayList; import java.util.Iterator; import java.util.List; im...

czy的博客 489

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

【hbase】——Java操作Hbase进行建表、删表以及对数据进行增删改查,条件查询

1、搭建环境   新建JAVA项目,添加的包有:    有关Hadoop的hadoop-core-0.20.204.0.jar    有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包   2、主要程序 package com.wujintao.hbase.test; import ...

varyall的专栏 662

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

大数据hadoop学习【8】-----HBase分布式数据库表及表中数据的基本操作

随着时间的慢慢推移,大数据基础课程也在慢慢的往后学习,前面我们介绍了通过Java编程实现了对hadoop文件系统HDFS进行了一系列的操作,对于hdfs的学习也可以暂告一段落,本次博客,林君学长将带大家了解HBase分布式数据库的操作与编程,并通过一系列的例题进行相应的辅助了解哦,一起来看吧! 本次的实验目的如下: 掌握HBase操作常用Shell命令 掌握HBase数据表的创建、添加数据、查看...

qq_42451251的博客 2180

Java API连接HBase 进行增删查改操作

准备工作 连接hbase 创建表 添加数据 删除数据 更新数据 修改数据 删除表

Flying_Driver的博客 9637

【HBase】(四)HBase 集群Shell操作

文章目录一、进入HBase命令行二、HBase表的操作三、创建create四、查看表列表list五、查看表的详细信息desc六、修改表的定义alter1、添加一个列簇2、删除一个列簇3、添加列簇hehe同时删除列簇myInfo4、清空表truncate5、删除表drop七、HBase表中数据的操作八、增put九、查get + scan十、 删delete 一、进入HBase命令行 在你安装的随意台...

云祁QI 1398

Hbase学习——对表操作进行封装

本文对以下内容进行介绍 1、封装连接 2、封装操作对象 3、封装命名空间的创建 4、封装表的创建 5、封装插入数据的操作 6、封装获取数据的操作 7、对以上6个函数进行操作检验(hbase创建命名空间、创建表、插入数据、查询数据) 1、封装连接 //封装连接 public static Connection GetConnection() throws IOException { Configuration conf = HBaseConfigurat

weixin_45890771的博客 2321
上一篇: 淘口令解析API接口使用指南与实现原理
下一篇: DeepSeek大模型优化实战:从数据处理到高效部署的完整指南
RubyWolf84
博客等级 码龄2年 622粉丝 1171原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

RubyWolf84

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值