IntelliJ IDEA构建基于maven的spark+hbase工程（scala语言）

最新推荐文章于 2025-05-22 11:11:17 发布

原创

最新推荐文章于 2025-05-22 11:11:17 发布 · 5.1k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hbase #idea #scala

摘要

利用IDEA来编写基于maven的scala程序，主要功能用来支持从hbase中拉取数据供spark进行mapreduce运算。

软件准备

首先下载安装IntelliJ IDEA
https://www.jetbrains.com/idea/download/#section=windows

不需要javaee支持的话，直接选择Community版本就行了，毕竟免费，也足够支持maven,scala,git,spark,hbase了。

安装过程中选择scala支持

安装完成后，配置全局的maven，指定自己安装的maven也可以使用idea默认自带maven。

工程构建

新建maven project，类似eclipse的simple project，不需要其他附属，scala支持后续添加

新工程删除java文件夹，新建scala文件夹。

配置pom，因为需要编译scala，所以plugin选择maven-scala-plugin

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.test</groupId>
    <artifactId>LdSparkHbase</artifactId>
    <version>1.0-SNAPSHOT</version>
    <properties>
        <jdk.version>1.8</jdk.version>
        <logback.version>1.1.2</logback.version>
        <slf4j.version>1.7.7</slf4j.version>
        <junit.version>4.11</junit.version>
        <spark.version>2.1.0</spark.version>
        <hadoop.version>2.6.5</hadoop.version>
        <hbase.version>1.2.6</hbase.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <