Spark RDD案例:词频统计

兮若耶

已于 2022-06-19 01:03:00 修改

阅读量210

点赞数

文章标签： spark scala big data

于 2022-06-19 01:02:53 首次发布

本文链接：https://blog.youkuaiyun.com/m0_63797754/article/details/125353747

版权

本文介绍了如何使用Spark和Scala进行词频统计。首先启动HDFS和Spark集群，然后创建输入文件words.txt。接着，创建一个Maven项目，配置Scala环境，添加相关依赖和构建插件。接下来，创建日志属性文件和WordCount单例对象，最后本地运行程序并查看在HDFS上的统计结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、提出任务

（1）启动集群的HDFS与Spark

请添加图片描述

（2）创建文件

创建文件words.txt,在传到hdfs的input下

请添加图片描述

二、完成任务

（一）新建Maven项目

新建Maven项目，选择JDK1.8、点击next

请添加图片描述

设置项目信息（项目名称、保存位置、组编号以及项目编号）

请添加图片描述

单击【Finish】按钮

请添加图片描述

（二）添加相关依赖和构建插件

在pom.xml文件里添加依赖与Maven构建插件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.fhl.rdd</groupId>
    <artifactId>SparkRDDWordCount</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.15</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>2.4.4</version>
        </dependency>
    </dependencies>
    <build>
        <sourceDirectory>src/main/scala

最低0.47元/天解锁文章