通过PySpark访问Hbase并转成DataFrame

本文介绍了如何使用PySpark访问Hbase的两种方式:一是通过newAPIHadoopRDD读取Hbase数据为RDD,再转换为DataFrame;二是创建Hive外部表来读取Hbase数据,然后利用Spark SQL进行查询。详细步骤包括配置Spark、Hbase和Hive的相关参数,以及数据转换的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

介绍PySpark访问Hbase的两种方法,一种是通过newAPIHadoopRDD,读取Hbase为RDD,并转成DataFrame,另一种是在Hive里建立Hbase的外部表,然后通过Spark Sql读取

一、通过newAPIHadoopRDD读取

#spark连接hbase,读取RDD数据

spark = SparkSession.builder.master("yarn-client").appName("hbase_test").getOrCreate()

hbaseconf = { "hbase.zookeeper.quorum":'10.18.105.15',"hbase.mapreduce.inputtable":"table_name",

                      "hbase.mapreduce.scan.row.start":"***", "hbase.mapreduce.scan.row.stop":"***"}

keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableTo

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值