02hbase简单使用

1.基本操作
进入 HBase 客户端命令行
	bin/hbase shell
	出现"hbase(main)>"则成功。
查看帮助命令
	help
查看当前数据库中有哪些表
	list
注意:
	使用 "ctrl+退格键" 才能删除。
2.表的操作
1.创建表 
	create "student","info"  (表名,列族)
	
2.插入数据到表
	put 'student','1001','info:name','Thomas'
	put 'student','1001','info:sex','male'
	put 'student','1001','info:age','18'
	put 'student','1002','info:name','Bob'
	
3.更新指定字段的数据(即覆盖)
	put 'student','1001','info:name','Nick'

4.查看表结构
	describe 'student'
			
5.扫描查看表数据
	scan 'student'
	scan 'student',{STARTROW => '1001'}
	scan 'student',{STARTROW => '1001',STOPROW => '1001'}
	
6.查看“指定行”或“指定列族:列”的数据
	get 'student','1001'
	get 'student','info'
	get 'student','1001','info:name'
	
7.删除表中的某一列数据
	delete 'student','1002','info:sex'

8.删除表中的全部数据
	deleteall 'student','1001'
	
9.清空表数据
	truncate 'student'

10.删除表
	必须先将其变为不可用状态:disable 'student'
	然后才能删除这个表:drop 'student'

11.统计表数据行数
	count 'student'
	
12.变更表信息
	将info列族中的数据存放3个版本
	alter 'student',{NAME=>'info',VERSIONS=>3}
### Spark 连接 HBase 方法 为了使 Spark 能够连接并访问 HBase 数据库,需要完成一系列配置工作。具体来说,在 Spark 配置文件中添加必要的 HBase 配置项能够建立两者之间的联系[^1]。 #### 准备环境依赖 首先确保环境中已经安装了 Apache Spark 和 HBase,并且版本兼容。接着下载 `hbase-spark` 库以及相关依赖包,这些可以通过 Maven 或者手动方式获取。将所需 JAR 文件放置于 Spark 的 `$SPARK_HOME/jars/` 目录下以便加载。 #### 修改 Spark 配置 编辑 Spark 安装目录下的 `conf/spark-defaults.conf` 文件,加入如下设置来指定 Zookeeper 地址和其他必要参数: ```properties spark.hbase.zookeeper.quorum=hmaster01,hmaster02,hmaster03 spark.hbase.zookeeper.property.clientPort=2181 ``` 以上命令指定了 ZooKeeper 服务器列表及其端口号用于定位 HBase 实例位置[^2]。 #### 编写 Scala 程序示例 下面是一个简单的 Scala 示例程序展示如何利用 DataFrame API 来读取来自 HBase 表的数据: ```scala import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.spark.sql.SparkSession val spark = SparkSession.builder.appName("HBaseReadExample").getOrCreate() // 创建 HBase 配置对象 val conf = HBaseConfiguration.create() // 设置要扫描的表名 conf.set(TableInputFormat.INPUT_TABLE, "my_table") // 将 HBase 结果集映射为 RDD 并转化为 DataFrame val hbaseRDD = spark.sparkContext.newAPIHadoopRDD(conf, classOf[TableInputFormat], classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable], classOf[org.apache.hadoop.hbase.client.Result]) // 对应列族和字段名称解析逻辑... val df = hbaseRDD.map { case (_, result) => val key = Bytes.toString(result.getRow()) (key, ...) }.toDF("row_key", ...) df.show() // 显示前几条记录作为验证 ``` 此代码片段展示了怎样构建 Spark Session、初始化 HBase Configuration、执行 TableScan 操作并将结果封装成 DataFrame 方便后续处理[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hao难懂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值