运用spark读取hive表的数据大批量导入Hbase

最新推荐文章于 2021-06-05 11:43:36 发布

在数据里搬砖的兔子

最新推荐文章于 2021-06-05 11:43:36 发布

阅读量5.6k

点赞数 7

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/cuixin20120511/article/details/80647854

本文介绍如何通过Spark程序从Hive表中读取数据，并将其大批量导入到HBase。首先，需要将hdfs-site.xml和hive-site.xml配置文件复制到项目的resources目录。推荐使用IDEA进行Spark开发，以提高效率。在Scala代码中实现数据迁移，确保正确配置项目结构，如创建scala源代码目录并设置为sourcesRoot。在pom文件中添加必要的依赖和打包配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先需要将集群上的hdfs-site.xml与hive-site.xml拷贝到resources目录下。开发spark程序推荐使用IDEA，能够事半功倍。缩短你的开发时间。scala代码需要放在下面的scala目录里。

新建的项目没有这个文件夹需要自己创建，然后选中文件夹右键利用菜单把它变成sourcesRoot。

pom文件中主要的依赖及打包工具

<properties>
        <spark.version>2.2.1</spark.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.11.12</version>
        </dependency>

        <!-- Spark Dependencies -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-common</artifactId>
            <version>1.2.6</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>1.2.6</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</arti