Spark----在 IDEA 中编写 WordCount 程序

最新推荐文章于 2025-01-20 04:36:01 发布

原创

最新推荐文章于 2025-01-20 04:36:01 发布 · 612 阅读

2 ·

CC 4.0 BY-SA版权

本文介绍了如何在IDEA中使用Maven创建一个Spark项目，编写WordCount程序，通过Maven进行打包，并将jar包提交到Spark集群执行。

Spark Shell 仅在测试和验证我们的程序时使用的较多，在生产环境中，通常会在 IDEA 中编写程序，然后打成 jar 包，然后提交到集群，最常用的是创建一个 Maven 项目，利用 Maven 来管理 jar 包的依赖。

1、创建一个 IDEA 的 maven 项目

2、选择 Maven 项目，然后点击 next

3、填写 maven 的 GAV，然后点击 next

4、填写项目名称，然后点击 finish

5、创建好 maven 项目后，点击 Enable Auto-Import

6、配置 maven 的 pom.xml 文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.mazh.spark</groupId>
    <artifactId>Spark_WordCount</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.t