摘要
利用IDEA来编写基于maven的scala程序,主要功能用来支持从hbase中拉取数据供spark进行mapreduce运算。
软件准备
首先下载安装IntelliJ IDEA
https://www.jetbrains.com/idea/download/#section=windows
不需要javaee支持的话,直接选择Community版本就行了,毕竟免费,也足够支持maven,scala,git,spark,hbase了。
安装过程中选择scala支持
安装完成后,配置全局的maven,指定自己安装的maven也可以使用idea默认自带maven。
工程构建
新建maven project,类似eclipse的simple project,不需要其他附属,scala支持后续添加
新工程删除java文件夹,新建scala文件夹。
配置pom,因为需要编译scala,所以plugin选择maven-scala-plugin
pom.xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.test</groupId>
<artifactId>LdSparkHbase</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
<jdk.version>1.8</jdk.version>
<logback.version>1.1.2</logback.version>
<slf4j.version>1.7.7</slf4j.version>
<junit.version>4.11</junit.version>
<spark.version>2.1.0</spark.version>
<hadoop.version>2.6.5</hadoop.version>
<hbase.version>1.2.6</hbase.version>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
<