Spark大数据处理讲课笔记2.4 IDEA开发词频统计项目

零、本讲学习目标

1. 掌握本地模式执行Spark程序
2. 掌握集群模式执行Spark程序

一、词频统计准备工作

• 单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。
• 在IntelliJ IDEA中新建Maven管理的Spark项目，并在该项目中使用Scala语言编写Spark的
• WordCount程序，最后将项目打包提交到Spark集群（Standalone模式）中运行。

（一）版本选择

（二）安装Scala2.12.15

• 从Scala官网下载Scala2.12.15 - Scala 2.12.15 | The Scala Programming Language

 

 下载到本地，并默认安装位置

（三）启动集群的HDFS与Spark

• 启动HDFS服务

 启动Spark集群

（四）在HDFS上准备单词文件

• 在master虚拟机上创建单词文件 - words.txt

 将单词文件上传到HDFS指定目录/wordcount/input

二、本地模式运行Spark项目

（一）新建Maven项目

新建Maven项目，注意，要基于JDK8

 设置项目信息（项目名称、保存位置、组编号以及产品编号）

 将java目录改成scala目录

（二）添加相关依赖和构建插件

• 在pom.xml文件里添加依赖与Maven构建插件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.zhj.rdd</groupId>
    <artifactId>SparkRDDWordCount</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.15</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.1.3</version>
        </dependency>
    </dependencies>
    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
    </build>
</project>

（三）创建日志属性文件

• 在resources目录里创建日志属性文件 - log4j.properties

log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spark.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

（四）添加Scala SDK

在项目结构窗口的Global Libraries里添加Scala 2.12.15

五）创建HDFS配置文件

• 在resources目录里创建hdfs-site.xml文件，允许客户端使用数据节点（因为本机外网访问私有云上的集群）

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property>
        <description>only config in clients</description>
        <name>dfs.client.use.datanode.hostname</name>
        <value>true</value>
    </property>
</configuration>

（六）创建词频统计单例对象

• 创建net.zhj.rdd包，然后在包里创建WordCount单例对象

package net.zhj.rdd

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setAppName("SparkRDDWordCount")
      .setMaster("local[*]")
    val sc = new SparkContext(conf)
    val inputPath = "hdfs://master:9000/wordcount/input"
    val outputPath = "hdfs://master:9000/wordcount/output"
    val wc = sc.textFile(inputPath)
      .flatMap(_.split(" "))
      .map((_,1))
      .reduceByKey(_ + _)
      .sortBy(_._2, ascending = false)
    wc.collect.foreach(println)
    wc.saveAsTextFile(outputPath)
    sc.stop()
      }
}

（七）运行程序，查看结果

• 首先看控制台输出结果

 然后查看HDFS上的结果文件

 显示结果文件内容

 有两个结果文件，我们可以分别查看其内容

 再次运行程序，会报错说输出目录已经存在

 -执行命令： hdfs dfs -rm -r /wordcount/output，删除输出目录

 再次运行程序，查看结果

 （八）修改程序，使用命令行参数

package net.zhj.rdd

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setAppName("SparkRDDWordCount")
      .setMaster("local[*]")
    val sc = new SparkContext(conf)
    var inputPath = ""
    var outputPath = ""
    if (args.length == 0){
      inputPath = "hdfs://master1:9000/wordcount/input"
      outputPath = "hdfs://master1:9000/wordcount/output"
    } else if(args.length == 2){
      inputPath = args(0)
      outputPath = args(1)
    } else {
      println("温馨提示：命令行参数只能是0或2个")
      return
    }
    val wc = sc.textFile(inputPath)
      .flatMap(_.split(" "))
      .map((_,1))
      .reduceByKey(_ + _)
      .sortBy(_._2, ascending = false)
    wc.collect.foreach(println)
    wc.saveAsTextFile(outputPath)
    sc.stop()
      }
}

创建/home/test.txt文件，上传到HDFS指定目录

打开配置窗口

配置命令行参数，注意两个参数之间必须有空格

运行程序，查看结果 

 命令行参数只设置一个

 运行程序，查看结果

三、集群模式运行Spark项目

（一）利用Maven打包

• 添加打包插件

 修改名称，将输出目录里的依赖包全部移除

 单击【OK】按钮

 生成Artifact

 单击【Build】之后，项目里会出现out目录

由于没有将依赖包添加到生成的jar包，所以生成的jar包很小，只有5KB。如果将全部依赖包都打进jar包，那么生成的jar包就会有几十兆。

 将生成的jar包上传到master虚拟机/home目录

 查看上传的jar包

（三）执行提交命令

1、不带参数执行

（1）采用client提交方式

• 执行命令：spark-submit --master spark://master1:7077 --class net.zhj.rdd.WordCount SparkRDDWordCount.jar

 在一堆输出信息中查看词频统计结果

 查看结果文件内容

 删除输出目录

（2）采用cluster提交方式

• 首先将词频统计jar包上传到HDFS指定目录

 执行命令：spark-submit --master spark://master1:7077 --deploy-mode cluster --class net.zhj.rdd.WordCount --driver-memory 512m --executor-memory 1g --executor-cores 2 hdfs://master1:9000/park/SparkRDDWordCount.jar

在Spark WebUI里查看

 单击stdout超链接

 

2、带参数执行

（1）采用client提交方式

• 执行命令：spark-submit --master spark://master1:7077 --class net.zhj.rdd.WordCount SparkRDDWordCount.jar hdfs://master1:9000/wc/input hdfs://master1:9000/wc/output

 

 在一堆输出信息里查看词频统计结果

 删除输出目录

执行命令：spark-submit --master spark://master1:7077 --class net.zhj.rdd.WordCount SparkRDDWordCount.jar hdfs://master1:9000/wc/input（只设置输入路径参数，没有设置输出路径参数）

 

（2）采用cluster提交方式

• 执行命令：spark-submit --master spark://master1:7077 --deploy-mode cluster --class net.huawei.rdd.WordCount --driver-memory 512m --executor-memory 1g --executor-cores 2 hdfs://master1:9000/park/SparkRDDWordCount.jar hdfs://master1:9000/wc/input hdfs://master1:9000/wc/output

 在Spark WebUI里查看