spark通过Phoenix读取hbase数据

最新推荐文章于 2025-05-22 11:11:17 发布

公众号【五元杂货铺】

最新推荐文章于 2025-05-22 11:11:17 发布

阅读量1w

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Spark Hbase 文章标签： spark Phoenix hbase python

本文链接：https://blog.youkuaiyun.com/qq_32284189/article/details/79152982

这篇博客探讨了如何利用Spark通过Phoenix来读取HBase中的数据，而非直接使用Spark官方方法进行全表扫描。文章指出，对于批量处理，使用Phoenix的SQL API能更有效地查询HBase，并提供了相关的Python代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

此篇文章主要介绍用spark如何读取hbase中的数据。

spark官方提供了用spark直接读取hbase的方法，但是直接读取hbase的数据类似于hbase shell中的scan方法全表扫描，当然如果知道rowkey当然就不会有什么问题，但是在真实的业务场景中onebyone通过rowkey去取hbase的数据是不现实的，这样也没用必要用spark去跑数据，因为发挥不出spark的性能，当用spark批量取hbase中数据去处理时，spark提供的方法就会存在很多问题。可参照一下代码：

host = 'hadoop03'
table = 'test'
conf = {"hbase.zookeeper.quorum": host, "hbase.mapreduce.inputtable": table,"zookeeper.znode.parent":"/hbase-unsecure"}
keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter"
valueConv = "org.apache.spark.examples.pythonconverters.HBaseResultToStringConverter"
hbase_rdd = sc.newAPIHadoopRDD("org.apache.hadoop.hbase.mapreduce.TableI