spark杂记：Word Count

最新推荐文章于 2024-07-03 15:06:34 发布

MachineLP

最新推荐文章于 2024-07-03 15:06:34 发布

阅读量431

点赞数

CC 4.0 BY-SA版权

分类专栏： spark学习文章标签： spark Word Count

本文链接：https://blog.youkuaiyun.com/u014365862/article/details/88728261

spark学习专栏收录该内容

24 篇文章 ¥39.90 ¥99.00

订阅专栏

本文是关于使用Spark进行Word Count的详细笔记，包括从S3下载数据文件、定义RDD、执行计划、执行过程中的Amortization，以及两种查找最常见单词的方法。重点介绍了flatMap()操作及其与map的区别，并探讨了Spark的懒执行模型和缓存机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark 学习笔记可以follow这里：https://github.com/MachineLP/Spark-

Word Count

Counting the number of occurances of words in a text is a popular first exercise using map-reduce.

The Task

Input: A text file consisisting of words separated by spaces.
Output: A list of words and their counts, sorted from the most to the least common.

We will use the book "Moby Dick" as our input.

#start the SparkContext
from pyspark import SparkContext
sc=SparkContext(master="local[4]")

# set import path
import sys
sys.path.append('../../Utils/')
#from plan2table import plan2table

了解本专栏