这是个踩坑的过程,上篇的虽然跑通了,但是其实版本配置有问题,记得看下篇😀
环境配置:
Scala:2.12.1
Spark:2.4.4
Hbase:2.2.3
前言:
前面有篇文章我使用了pyspark,弄得我很累,感觉python开发确实没那么好,看了些网上的文章和问了下朋友决定还是学学使用scala。(可以看看这个,我觉得挺有道理的.)
环境:
因为我也是第一次搞scala,如果你们也是的话,可以参考一下:
windows上 IntelliJ IDEA安装scala环境 详细 初学.
IDEA 开发 scala.
代码:
这里我参考了这个:http://dblab.xmu.edu.cn/blog/1316-2/.
只要代码测试成功了我再往下写,可是因为环境版本不一样,我改了一些地方的。
我们先建表和插入一些数据进去:(复制黏贴到hbase shell里面就一次过全部执行了,我是不是很贴心)
create 'student','info'
put 'student','1','info:name','Xueqian'
put 'student','1','info:gender','F'
put 'student','1','info:age','23'
put 'student','2','info:name','Weiliang'
put 'student','2','info:gender','M'
put 'student','2','info:age','24'
Pom
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.shct</groupId>
<artifactId>sparkhbasetest</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
<jdk.version>1.8</jdk.version>
<scala.version>2.12.1</scala.version>
<spark.version>2.4.4</spark.version>
<hadoop.version>3.1.2</hadoop.version>
<hbase.version>2.2.3</hbase.version>
</properties>
<dependencies>
<!--scala-->
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>${scala.version}</version>
</dependency>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-reflect</artifactId>
<version>${scala.version}</version>
</dependency>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-compiler</artifactId>
<version>${scala.version}</version>
</dependency>
<!--spark-core-->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>${spark.version}</version>
</dependency>
<!--hadoop-->
<dependency>
<groupId>org.apache.hadoop</groupId

本文分享了使用Scala与Spark进行HBase数据读写的实践过程,包括环境搭建、代码实现及常见问题解决,如配置zookeeper.znode.parent及解决Put.add接口变更等。
最低0.47元/天 解锁文章
333

被折叠的 条评论
为什么被折叠?



