spark+IntellijIDE 项目搭建

最新推荐文章于 2023-06-14 15:49:49 发布
最新推荐文章于 2023-06-14 15:49:49 发布
阅读量715 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 实战 文章标签： scala项目搭建 spark scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qingwufeiyang_530/article/details/81069980
本文介绍了如何在Intellij IDEA中使用Maven搭建一个Scala项目，并集成Spark。从创建项目到配置Scala SDK，再到添加Spark依赖，解决版本冲突问题，最终实现运行一个简单的Spark任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、new project ，选择maven ，JDK1.8，模板选择camel-archetype-scala

2、Next，

GroupId：com.xx.aa

ArtiFactId：sparkPrj

Version:1.0-SNAPSHOT

3、选择对应的maven

4、输入对应的项目名称，finish即可。

完成的项目结构如下图：

5、需要给项目加上scala依赖才能新增scala class

File -》project structure-》Modules ，选中新建的那个项目，在dependencies页签，点击右侧+号，library ，加入你的scala-sdk

6、新建一个HelloWorld.scala,运行成功！！！

至此一个scala项目已经建好。

项目的pom。xml如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">

  <modelVersion>4.0.0</modelVersion>

  <groupId>com.xx.aa</groupId>
  <artifactId>scalaprj</artifactId>
  <packaging>jar</packaging>
  <version>1.0-SNAPSHOT</version>

  <name>A Camel Scala Route</name>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
  </properties>

  <dependencyManagement>
    <dependencies>
      <!-- Camel BOM -->
      <dependency>
        <groupId>org.apache.camel</groupId>
        <artifactId>camel-parent</artifactId>
        <version>2.22.0</version>
        <scope>import</scope>
        <type>pom</type>
      </dependency>
    </dependencies>
  </dependencyManagement>

  <dependencies>

    <dependency>
      <groupId>org.apache.camel</groupId>
      <artifactId>camel-core</artifactId>
    </dependency>
    <dependency>
      <groupId>org.apache.camel</groupId>
      <artifactId>camel-scala</artifactId>
    </dependency>

    <!-- scala -->
    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-library</artifactId>
      <version>2.11.7</version>
    </dependency>
    <dependency>
      <groupId>org.scala-lang.modules</groupId>
      <artifactId>scala-xml_2.11</artifactId>
      <version>1.0.6</version>
    </dependency>

    <!-- logging -->
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-api</artifactId>
      <scope>runtime</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-core</artifactId>
      <scope>runtime</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-slf4j-impl</artifactId>
      <scope>runtime</scope>
    </dependency>

    <!-- testing -->
    <dependency>
      <groupId>org.apache.camel</groupId>
      <artifactId>camel-test</artifactId>
      <scope>test</scope>
    </dependency>
  </dependencies>

  <build>
    <defaultGoal>install</defaultGoal>
    <sourceDirectory>src/main/scala</sourceDirectory>
    <testSourceDirectory>src/test/scala</testSourceDirectory>

    <plugins>

      <!-- the Maven compiler plugin will compile Java source files -->
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.7.0</version>
        <configuration>
          <source>1.8</source>
          <target>1.8</target>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-resources-plugin</artifactId>
        <version>3.0.2</version>
        <configuration>
          <encoding>UTF-8</encoding>
        </configuration>
      </plugin>

      <!-- the Maven Scala plugin will compile Scala source files -->
      <plugin>
        <groupId>net.alchim31.maven</groupId>
        <artifactId>scala-maven-plugin</artifactId>
        <version>3.2.2</version>
        <executions>
          <execution>
            <goals>
              <goal>compile</goal>
              <goal>testCompile</goal>
            </goals>
          </execution>
        </executions>
      </plugin>

      <!-- configure the eclipse plugin to generate eclipse project descriptors for a Scala project -->
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-eclipse-plugin</artifactId>
        <version>2.10</version>
        <configuration>
          <projectnatures>
            <projectnature>org.scala-ide.sdt.core.scalanature</projectnature>
            <projectnature>org.eclipse.jdt.core.javanature</projectnature>
          </projectnatures>
          <buildcommands>
            <buildcommand>org.scala-ide.sdt.core.scalabuilder</buildcommand>
          </buildcommands>
          <classpathContainers>
            <classpathContainer>org.scala-ide.sdt.launching.SCALA_CONTAINER</classpathContainer>
            <classpathContainer>org.eclipse.jdt.launching.JRE_CONTAINER</classpathContainer>
          </classpathContainers>
          <excludes>
            <exclude>org.scala-lang:scala-library</exclude>
            <exclude>org.scala-lang:scala-compiler</exclude>
          </excludes>
          <sourceIncludes>
            <sourceInclude>**/*.scala</sourceInclude>
            <sourceInclude>**/*.java</sourceInclude>
          </sourceIncludes>
        </configuration>
      </plugin>

      <!-- allows the route to be run via 'mvn exec:java' -->
      <plugin>
        <groupId>org.codehaus.mojo</groupId>
        <artifactId>exec-maven-plugin</artifactId>
        <version>1.6.0</version>
        <configuration>
          <mainClass>com.xx.aa.MyRouteMain</mainClass>
        </configuration>
      </plugin>
    </plugins>
  </build>

</project>

下面我们要整合spark。。。

1、加入spark依赖

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_${scala.version}</artifactId>
  <version>${spark.version}</version>
</dependency>

2、新增一个spark任务SparkJob

package com.xx.aa

import org.apache.spark.{SparkConf, SparkContext}

/**
  * @Auther: 
  * @Date: 2018/7/16 19:26
  * @Description:
  */
object SarkJob {

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local").setAppName("wordcount");
    val sc = new SparkContext(conf)
    val input = sc.textFile("E:\\test.txt")
    val words = input.flatMap(line=>line.split(" "))
    println("words:"+words)
    val counts = words.map(word => (word,1)).reduceByKey{case(x , y) => x + y}
    //    counts.saveAsTextFile("E:\\result.txt")

    counts.foreach(print);
  }
}

3、编译报错：

报错原因：scala版本不正确：改成本地的scala版本，编译成功。

4、运行job，报错：

5、需要覆盖json4s版本，使用2.8.7

修改后的pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">

  <modelVersion>4.0.0</modelVersion>

  <groupId>com.xx.aa</groupId>
  <artifactId>scalaprj</artifactId>
  <packaging>jar</packaging>
  <version>1.0-SNAPSHOT</version>

  <name>A Camel Scala Route</name>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <spark.version>2.1.0</spark.version>
    <scala.version>2.11</scala.version>
    <json4s.version>3.2.11</json4s.version>
    <jackson.version>2.8.7</jackson.version>
  </properties>

  <dependencyManagement>
    <dependencies>
      <!-- Camel BOM -->
      <dependency>
        <groupId>org.apache.camel</groupId>
        <artifactId>camel-parent</artifactId>
        <version>2.22.0</version>
        <scope>import</scope>
        <type>pom</type>
      </dependency>
    </dependencies>
  </dependencyManagement>

  <dependencies>

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_${scala.version}</artifactId>
      <version>${spark.version}</version>
    </dependency>

    <!-- 覆盖json4s版本-->
    <dependency>
      <groupId>com.fasterxml.jackson.core</groupId>
      <artifactId>jackson-databind</artifactId>
      <version>${jackson.version}</version>
    </dependency>
    <dependency>
      <groupId>com.fasterxml.jackson.module</groupId>
      <artifactId>jackson-module-scala_2.11</artifactId>
      <version>${jackson.version}</version>
    </dependency>

    <dependency>
      <groupId>org.apache.camel</groupId>
      <artifactId>camel-core</artifactId>
    </dependency>
    <dependency>
      <groupId>org.apache.camel</groupId>
      <artifactId>camel-scala</artifactId>
    </dependency>

    <!-- scala -->
    <!--<dependency>-->
      <!--<groupId>org.scala-lang</groupId>-->
      <!--<artifactId>scala-library</artifactId>-->
      <!--<version>2.11.7</version>-->
    <!--</dependency>-->
    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-compiler</artifactId>
      <version>2.11.8</version>
    </dependency>
    <dependency>
      <groupId>org.scala-lang.modules</groupId>
      <artifactId>scala-xml_2.11</artifactId>
      <version>1.0.6</version>
    </dependency>

    <!-- logging -->
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-api</artifactId>
      <scope>runtime</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-core</artifactId>
      <scope>runtime</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-slf4j-impl</artifactId>
      <scope>runtime</scope>
    </dependency>

    <!-- testing -->
    <dependency>
      <groupId>org.apache.camel</groupId>
      <artifactId>camel-test</artifactId>
      <scope>test</scope>
    </dependency>
  </dependencies>

  <build>
    <defaultGoal>install</defaultGoal>
    <sourceDirectory>src/main/scala</sourceDirectory>
    <testSourceDirectory>src/test/scala</testSourceDirectory>

    <plugins>

      <!-- the Maven compiler plugin will compile Java source files -->
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.7.0</version>
        <configuration>
          <source>1.8</source>
          <target>1.8</target>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-resources-plugin</artifactId>
        <version>3.0.2</version>
        <configuration>
          <encoding>UTF-8</encoding>
        </configuration>
      </plugin>

      <!-- the Maven Scala plugin will compile Scala source files -->
      <plugin>
        <groupId>net.alchim31.maven</groupId>
        <artifactId>scala-maven-plugin</artifactId>
        <version>3.2.2</version>
        <executions>
          <execution>
            <goals>
              <goal>compile</goal>
              <goal>testCompile</goal>
            </goals>
          </execution>
        </executions>
      </plugin>

      <!-- configure the eclipse plugin to generate eclipse project descriptors for a Scala project -->
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-eclipse-plugin</artifactId>
        <version>2.10</version>
        <configuration>
          <projectnatures>
            <projectnature>org.scala-ide.sdt.core.scalanature</projectnature>
            <projectnature>org.eclipse.jdt.core.javanature</projectnature>
          </projectnatures>
          <buildcommands>
            <buildcommand>org.scala-ide.sdt.core.scalabuilder</buildcommand>
          </buildcommands>
          <classpathContainers>
            <classpathContainer>org.scala-ide.sdt.launching.SCALA_CONTAINER</classpathContainer>
            <classpathContainer>org.eclipse.jdt.launching.JRE_CONTAINER</classpathContainer>
          </classpathContainers>
          <excludes>
            <exclude>org.scala-lang:scala-library</exclude>
            <exclude>org.scala-lang:scala-compiler</exclude>
          </excludes>
          <sourceIncludes>
            <sourceInclude>**/*.scala</sourceInclude>
            <sourceInclude>**/*.java</sourceInclude>
          </sourceIncludes>
        </configuration>
      </plugin>

      <!-- allows the route to be run via 'mvn exec:java' -->
      <plugin>
        <groupId>org.codehaus.mojo</groupId>
        <artifactId>exec-maven-plugin</artifactId>
        <version>1.6.0</version>
        <configuration>
          <mainClass>com.xx.aa.MyRouteMain</mainClass>
        </configuration>
      </plugin>
    </plugins>
  </build>

</project>

6、运行结果如下：

(are,1)(you,1)(how,1)(hello,1)

 

test.txt文件内容如下：

hello how are you

大数据Spark：基于IDEA集成环境的应用开发
PixelInk的博客
08-23 251
在本文中，我们将探讨如何在IDEA集成环境中开发和调试Spark应用程序，并提供相应的源代码示例。在上面的示例代码中，我们首先创建一个SparkSession对象，用于与Spark集群进行通信。然后，我们读取输入数据（假设是一个CSV文件），对数据进行转换和处理，并将结果保存到输出路径。至此，我们已经学习了如何在IDEA集成环境中开发和运行Spark应用程序。通过使用IDE的强大功能和调试工具，我们可以更轻松地开发和调试复杂的Spark应用程序。请确保将示例代码中的输入路径和输出路径替换为实际的文件路径。
使用IDE（eclipse，idea）开发spark程序
Binder~的博客
11-12 1529
1.使用spark-shell编写程序： 启动spark-shell bin/spark-shell --master local[4] --jars testcode.jar [4]表示在4个cpu核上运行，--jars指明需要的jar包路径   加载text文件 scala> val textFile = sc.textFile("file:///data/
使用IDE开发Spark应用程序
Silence的博客
08-12 1006
使用IDE开发Spark应用程序有两种方式，一种是在本地（Local）运行，另一种是在集群中运行。下面分别介绍两种方式： 一、使用Scala开发本地测试的Spark应用程序。 1、安装IDE集成开发环境（前提是要在Windows中安装了Java和Scala）。 2、使用集成开发环境创建工程WordCount，并修改Scala Library Container为2.10.x （工程名Wor
第8课：彻底实战详解使用IDE开发Spark程序
slq1023的博客
01-24 5937
第8课：彻底实战详解使用IDE开发Spark程序 1.下载安装windows下的scala-2.10.4. 2.打开eclipse，新建scala project： WordCount 3.修改依赖的scala版本为2.10.x。 在Package Explorer中WordCount上点击右键，选择properities->scala Compilier，选择下图所示use peojec
IntelliJ IDE Spark程序开发
liweijie231的博客
06-21 446
环境部署安装IntelliJ IDE下载安装即可 ,选择Community版本下载Spark源码cd /Users/jackli/Desktop/Pjt_idea/ git clone https://github.com/apache/sparkIntelliJ 安装相关依赖 打开IntelliJ Import Project ，选择spark文件夹 选择Import Project fro
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
总的来说，搭建Hadoop、HBase、Spark和Hive集群涉及多个步骤，包括安装、配置、启动以及验证。整个过程需要对大数据处理原理有深入理解，并熟悉Linux系统的操作。完成后，这个集群可以处理大量数据，支持实时查询和...
基于SpringBoot+Spark+ElasticSearch搭建的商铺推荐平台源码+详细文档+全部数据资料 高分项目.zip
最新发布
05-08
基于SpringBoot+Spark+ElasticSearch搭建的商铺推荐平台源码+详细文档+全部数据资料 高分项目.zip 【备注】 1、该项目是个人高分项目源码，已获导师指导认可通过，答辩评审分达到95分 2、该资源内项目代码都经过测试...
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
在大数据领域，构建一个完整的生态系统是至关重要的，其中包括多个组件，如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作，提供了数据存储、处理、调度、流...
Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala
05-05
单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作...
基于Spark SQL+Spark MLlib+Spark+隐语义模型(LFM)+实际项目经验的个性化电影推荐系统源码.zip
01-15
基于Spark SQL+Spark MLlib+Spark+隐语义模型(LFM)+实际项目经验的个性化电影推荐系统源码.zip 基于Spark SQL+Spark MLlib+Spark+隐语义模型(LFM)+实际项目经验的个性化电影推荐系统源码.zip 基于Spark SQL+Spark ...
win10上搭建spark ide环境
akiyamamio11的博客
01-10 754
1.安装jdk，设置好环境变量 2.下载scala，直接去官网下载msi的版本安装。有几点要注意：1.安装路径一定不能有空格，不然会悲剧。像program files这样的就不行。2.要下载spark的对应的版本。 3.下载maven，官网下载，直接解压，设置好环境变量，path。 4.下载intellij并安装，我直接用的免费版本。 5.安装时可以选择install scala插件。也可
第8课：使用ide开发spark程序
挖矿的小强的博客
04-06 200
使用idea开发spark 实战
a11a2233445566的专栏
01-18 740
课程内容  使用idea开发spark 实战 使用idea 开发spark的Local和Cluster  一： 配置开发环境 1. 要在本地安装好java和scala。 由于spark1.6需要scala 2.10.X版本的。推荐 2.10.4，java版本最好是1.8。所以提前我们要需要安装好java和scala 并在环境变量中配置好 2. 下载 IDEA 社区版本，选择wind
Intellij IDEA编写Spark应用程序的环境配置和操作步骤
runepic的博客
06-14 6956
在win系统中使用IDEA开发spark应用程序，并将其打成jar包上传到虚拟机中的三个Ubuntu系统，然后在分布式环境中运行
使用IntelliJ Idea开发Spark应用程序
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-05 6057
掌握使用IntelliJ Idea开发Spark应用程序的过程。1、使用IntelliJ Idea开发本地Spark应用程序。   2、部署分布式Spark应用程序。首先创建Spark应用程序，在本地运行并测试；然后修改Spark应用程序，访问分布式文件系统HDFS；最后将项目打为jar包，部署到Spark集群上执行。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3，IntelliJ Idea1、启动IntelliJ Idea。在终
Camel Maven插件
SpringsSpace
06-21 748
1. 插件1：camel-archetype-java      mvn archetype:create -DarchetypeGroupId=org.apache.camel.archetypes -DarchetypeArtifactId=camel-archetype-java -DarchetypeVersion=2.5.0 -DgroupId=camelinaction -Dar...
Spark环境搭建（保姆级教程）
热门推荐
tangyi2008的专栏
02-24 5万+
Spark 是一个大规模数据处理的统一分析引擎 本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。 文末有相应资源下载网盘链接。
从0开始 - 完整搭建Spark+IDEA+Maven开发环境（基于Linux）
GYT0313
05-07 3137
前言 本章将完整记录博主从0开始搭建Spark+IDEA的开发环境。 首先你需要安装Ubuntu 系统，如果未安装可以网上搜索教程即可。 准备maven 和IDEA的安装包： 链接：https://pan.baidu.com/s/1bPqf24DfZe-YpSrBrfIOKQ 提取码：3110 注：需要联网 1. JDK的安装 解压安装包，添加环境变量： vim ~/.bashrc JAVA_H...
Windows平台下Spark+Scala环境搭建指南
- 创建一个新的项目，并配置项目依赖，包括Spark、Scala和Hadoop库。 - 对于项目，需要设置正确的SDK，选择Scala SDK，并配置项目级别的库以及框架版本。 6. 配置环境变量 - 在Windows系统中，需要配置一些环境...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值