Spark SQL读取hbase映射到hive表--开发流程介绍

最新推荐文章于 2021-06-07 15:57:58 发布

原创

最新推荐文章于 2021-06-07 15:57:58 发布 · 3k 阅读

6 ·

CC 4.0 BY-SA版权

本文介绍了如何使用SparkSQL在本地操作通过Hive映射的HBase外部表。步骤包括在pom文件中添加相关依赖，如hive-site、hdfs-site和hbase-site的XML配置，并详细讲解了基于Spark SQL on Hive的代码开发过程。

如何在本地使用SparkSQL连接hbase映射到hive的外部表，操作步骤如下：

一、在pom文件中添加所需的依赖,如下是必要的依赖，根据自己的实际情况选择对应版本，如果运行时找不到某些类，可能还需添加其它依赖。

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.1.1</version>
</dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.11</artifactId>
        <version>2.1.1</version>
    </dependency>
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-hbase-handler</artifactId>
    <version>1.1.0-cdh5.11.2</version>
</dependency>
<dependency>
    <groupId>org.apache.hbase</groupId>
    <artifactId>hbase-server</artifactId>
    <version>1.2.0</version>
</dependency>

第二,在resources文件夹中添加对应的xml配置文档，程序运行时需要读取某些配置参数

hive-site.xml