Spark系列(五)IDEA编写及调试Spark的WordCount程序

最新推荐文章于 2025-03-28 21:03:00 发布

淡淡的倔强

最新推荐文章于 2025-03-28 21:03:00 发布

阅读量2.4k

点赞数 1

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/u012834750/article/details/81016433

版权

本文介绍了如何在IDEA中创建Scala Maven项目，编写Spark的WordCount程序，并进行本地模式和Yarn模式的调试。首先，创建Scala Maven项目并配置pom.xml。然后，在指定目录下编写WordCount程序，确保Scala目录被标记为Source。接着，通过设置`--master local[*]`进行本地模式调试，处理可能的HDFS权限问题。最后，打包项目为Jar包，上传到Hadoop集群，通过`spark-submit`在Yarn模式下运行，注意解决输出目录已存在或不存在的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用IDEA编写Spark程序的前提条件是IDEA已经配置好Scala的编写环境，可以参考Scala–IDEA配置及maven项目创建

在这里，我们以hadoop的wordcount为例，编写Scala程序，以本地模式和Yarn模式分别测试程序。Spark程序在开发的时候，使用IDEA编写程序及调试过程如下：

一、项目创建

1、创建Scala的Maven项目，pom.xml文件如下所示：

    <properties>
        <log4j.version>1.2.17</log4j.version>
        <slf4j.version>1.7.22</slf4j.version>
        <spark.version>2.1.1</spark.version>
        <scala.version>2.11.8</scala.version>
    </properties>

    <dependencies>
        <!-- Logging -->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>jcl-over-slf4j</artifactId>
            <version>${slf4j.version}</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>${slf4j.version}</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>${slf4j.version}</version>
        </dependency>
        <dependency>
            <groupId>log4j

最低0.47元/天解锁文章