Spark案例：Java版统计单词个数

酒城译痴无心剑

已于 2022-06-25 00:17:52 修改

阅读量2.6k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： # Spark基础学习笔记（2）文章标签： java spark 开发语言

于 2020-12-14 22:31:35 首次发布

本文链接：https://blog.youkuaiyun.com/howard2005/article/details/79331560

Spark基础学习笔记（2）专栏收录该内容

150 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文档详细介绍了如何在Java环境下利用Maven构建Spark项目，通过WordCount示例演示如何统计文本中单词个数。首先在pom.xml配置文件中引入Spark依赖，然后创建input目录放置文本文件test.txt，接着编写WordCount类实现统计功能，最后运行程序，结果将保存在result目录的part-00000文件中。

1、Maven项目JavaSparkWordCount

2、在pom.xml里，添加对spark的依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
         http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.hw.spark</groupId>
    <artifactId>JavaSparkWordCount</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <depen

了解本专栏