PySpark基于SHC框架读取HBase数据并转成DataFrame

冬哥不是东哥

于 2019-04-27 18:25:39 发布

阅读量827

点赞数

文章标签： Spark HBase Python SHC pySpark

本文链接：https://blog.youkuaiyun.com/u014736152/article/details/89605015

版权

本文介绍了如何使用PySpark通过SHC（Spark HBase Connector）框架从HBase读取数据并转化为DataFrame。首先，需将HBase和SHC的jar包放入Spark集群的lib目录，并更新配置文件spark-defaults.conf。接着，重启集群，然后通过Python代码进行操作。文章未提供详细的数据源信息，但提到了schema定义参考，并附有相关图片链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、首先需要将HBase目录lib下的jar包以及SHC的jar包复制到所有节点的Spark目录lib下

二、修改spark-defaults.conf 在spark.driver.extraClassPath和spark.executor.extraClassPath把上述jar包所在路径加进去

三、重启集群

四、代码

#/usr/bin/python
#-*- coding:utf-8 –*-

from pyspark import SparkContext
from pyspark.sql import SQLContext,HiveContext,SparkSession
from pyspark.sql.types import Row,StringType,StructField,StringType,IntegerType
from pyspark.sql.dataframe import DataFrame

sc = SparkContext(appName="pyspark_hbase")
sql_sc = SQLContext(sc)

dep = "org.apache.spark.sql.execution.datasources.hbase"
#定义schema
catalog = """{
              "table":{"namespace":"default", "name":"teacher"},
              "rowkey":"key",
              "columns":{
                       "id":{"cf":

最低0.47元/天解锁文章