Python开发Spark应用之Wordcount词频统计

最新推荐文章于 2025-02-05 19:32:41 发布

原创

最新推荐文章于 2025-02-05 19:32:41 发布 · 8.1k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#python #spark

本文介绍了如何使用Python开发Spark应用，通过Wordcount示例展示了词频统计的过程。涉及SparkContext初始化、split、strip、lambda函数、filter、map、flatMap、sortByKey和take等操作。还探讨了parallelize和makeRDD的区别，并提供了参考资料。

待我学有所成，结发与蕊可好。@夏瑾墨

一个早上只做了一点微小的工作，很忏愧。但是发现Spark这玩意还是蛮有意思的。下面给大家介绍一下如何用python跑一遍Wordcount的词频统计的示例程序。

#在pyspark模块中引入SparkContext和SparkConf类
#在operator模块中导入add类
from pyspark import SparkContext, SparkConf 
from operator import add

#应用程序名
#初始化一个SparkContext，现在sc就是一个SparkContext的实例化对象，然后方可创建RDD。
appName = "WordCount"
conf = SparkConf().setAppName(appName).setMaster("local")
sc = SparkContext(conf=conf)

# inputFiles表示输入文件路径
# stopWordFile表示停词文件路径
# outputFile表示输出文件路径
inputFiles = "/home/hadoop/software/spark-2.0.0-bin-hadoop2.6/examples/src/main/resources/wordcount/*"
stopWordFile = "/home/hadoop/software/spark-2.0.0-bin-hadoop2.6/examples/src/main/resources/wordcount/stopword.txt"
outputFile