Spark写入数据到Hbase（上）

Spark与HBase交互实战

最新推荐文章于 2024-04-09 16:35:56 发布

原创

最新推荐文章于 2024-04-09 16:35:56 发布 · 1k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #hbase #scala

本文分享了使用Scala与Spark进行HBase数据读写的实践过程，包括环境搭建、代码实现及常见问题解决，如配置zookeeper.znode.parent及解决Put.add接口变更等。

这是个踩坑的过程，上篇的虽然跑通了，但是其实版本配置有问题，记得看下篇😀
环境配置：
Scala:2.12.1
Spark:2.4.4
Hbase:2.2.3

前言：
前面有篇文章我使用了pyspark，弄得我很累，感觉python开发确实没那么好，看了些网上的文章和问了下朋友决定还是学学使用scala。（可以看看这个，我觉得挺有道理的.）
环境：
因为我也是第一次搞scala，如果你们也是的话，可以参考一下：
windows上 IntelliJ IDEA安装scala环境详细初学.
IDEA 开发 scala.

代码：

这里我参考了这个：http://dblab.xmu.edu.cn/blog/1316-2/.

只要代码测试成功了我再往下写，可是因为环境版本不一样，我改了一些地方的。

我们先建表和插入一些数据进去：(复制黏贴到hbase shell里面就一次过全部执行了，我是不是很贴心)

create 'student','info'
put 'student','1','info:name','Xueqian'
put 'student','1','info:gender','F'
put 'student','1','info:age','23'
put 'student','2','info:name','Weiliang'
put 'student','2','info:gender','M'
put 'student','2','info:age','24'

Pom

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.shct</groupId>
    <artifactId>sparkhbasetest</artifactId>
    <version>1.0-SNAPSHOT</version>


    <properties>
        <jdk.version>1.8</jdk.version>
        <scala.version>2.12.1</scala.version>
        <spark.version>2.4.4</spark.version>
        <hadoop.version>3.1.2</hadoop.version>
        <hbase.version>2.2.3</hbase.version>
    </properties>
    <dependencies>
        <!--scala-->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>

        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-reflect</artifactId>
            <version>${scala.version}</version>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-compiler</artifactId>
            <version>${scala.version}</version>
        </dependency>

        <!--spark-core-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <!--hadoop-->
        <dependency>
            <groupId>org.apache.hadoop</groupId