使用idea创建一个wordcount例子

最新推荐文章于 2024-11-18 16:17:50 发布

原创最新推荐文章于 2024-11-18 16:17:50 发布 · 1.7k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#idea

spark 专栏收录该内容

12 篇文章

订阅专栏

本文介绍了如何在IntelliJ IDEA中创建一个WordCount项目，包括设置Scala SDK，导入jar，创建源代码文件夹，以及打包为artifact。最后，提供了Spark任务查看的相关URL。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

打开idea—>file—> project
这里写图片描述

这里写图片描述

点击finish，创建项目，然后点击 file–>project structure–>Modules
这里写图片描述

点击”+”添加你的项目，点击右边的Sources–>点击下面的sources–>在src创建main/scala文件夹

然后在点击liberary
这里写图片描述

点击”+” –>scala sdk（添加SDK）
在点击”+”—>java (添加jar)
然后在scala文件夹下创建一个com包，在创建一个WorldCount （scala Object）

添加内容如下：

package com

import org.apache.spark.{SparkConf, SparkContext}

object WorldCount {

  def main(args:Array[String]){

      val conf = new  SparkConf().setAppName("wordcount")
      val sc = new SparkContext(conf)

      val input = sc.textFile("file:///home/spark/test/testSpark")
      val lines = input.flatMap(_.split(" "))
      val count = lines.map((_,1)).reduceByKey(_+_)
      val output = count.saveAsTextFile("file:///home/spark/test/Spark01")
  }
}

打包：

file–>project structure–>artifacts
这里写图片描述

这里写图片描述

如图点击OK，然后在点击build–>buildartifacts–>build
这里写图片描述

jar位置在out/artifacts/中

在提交job

启动master和worker
start-master.sh   启动master
启动worker  start-slaves.sh  或者 spark-class org.apache.spark.deplog.worker.Worker spark://spark02:7077
提交：
spark-submit  --master spark://spark02:7077 --class com.WorldCount  /home/spark/jarFileName.jar

web UI：
任务查看：
http://spark02:4040

master查看：
http://spark02:8080

worker查看:
http://spark02:8081

hdfs查看：
http://spar02:50070