使用java开发spark实战

课程内容

 使用java开发spark 实战

 

 

一：环境搭建 安装jdk 和maven。

1. 安装jdk并配置环境变量

系统变量→新建 JAVA_HOME 变量 。

变量值填写jdk的安装目录（本人是 E:\Java\jdk1.7.0)

系统变量→寻找 Path 变量→编辑

在变量值最后输入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;（注意原来Path的变量值末尾有没有;号，如果没有，先输入；号再输入上面的代码）

系统变量→新建 CLASSPATH 变量值填写   .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar（注意最前面有一点）

2. Maven的安装和配置

解压apache-maven-3.1.1-bin.zip，并把解压后的文件夹下的apache-maven-3.1.1文件夹移动到D:\Java下，如果没有Java这个文件夹的话，请自行创建

新建系统变量   MAVEN_HOME  变量值：D:\Java\apache-maven-3.1.1。编辑系统变量 Path 添加变量值： ;%MAVEN_HOME%\bin。

在mave 的目录中修改conf/settings.xml， 在 localRepository属性后添加<localRepository>D:/repository</localRepository> 修改maven下载jar 的位置。

3. eclipse 中java 和maven 的配置

点击 window ->java ->Installed JREs ->add ->standard vm  ,点击next ，然后选择jdk 的安装路径点击finish即可。

点击window ->Maven ->Installations ->add 在弹出页面选择mave 的安装路径，然后点击finish。然后在列表中选择我们自己刚添加的那个maven信息。

然后点击window ->Maven ->User Setings   在 右侧的User Settings 点击browse 现在maven  conf目录下的setttings.xml .（主要是修改maven下载依赖包存放的位置）

二：创建maven项目

1. 创建maven项目

点击file ->new ->others ->maven project  点击next，选择maven-archetype-quickstart ，点击next，group id 为 com.dt.spark，artifact id 为 sparkApps，然后点击finish。

2. 修改jdk 和pom文件

创建maven项目后，默认的jdk 是1.5要改成我们前面安装好的jdk1.8 。在项目上右击 build path ->configure build path 。在弹出页面点击Libraries，选中jre system library 。点击 edit，在弹出框选择 workspace default jre ，然后点击finish。 然后在点击ok。将pom文件修改为如下内容，然后等待eclipse 下载好maven依赖的jar包，并编译工程。编译好工程后有个错误提示，在此错误列上，右击选择 quick fix ，在弹出页面点击finish即可。

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

  <modelVersion>4.0.0</modelVersion>

 

  <groupId>com.dt.spark</groupId>

  <artifactId>SparkApps</artifactId>

  <version>0.0.1-SNAPSHOT</version>

  <packaging>jar</packaging>

 

  <name>SparkApps</name>

  <url>http://maven.apache.org</url>

 

  <properties>

    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

  </properties>

 

  <dependencies>

    <dependency>

      <groupId>junit</groupId>

      <artifactId>junit</artifactId>

      <version>3.8.1</version>

      <scope>test</scope>

    </dependency>

    <dependency>

       <groupId>org.apache.spark</groupId>

       <artifactId>spark-core_2.10</artifactId>

       <version>1.6.0</version>

    </dependency>

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-sql_2.10</artifactId>

        <version>1.6.0</version>

    </dependency>

    <dependency>