Python开发Spark应用之Wordcount词频统计

Jooey_Zhong

于 2016-10-23 01:38:11 发布

阅读量8k

点赞数 5

CC 4.0 BY-SA版权

分类专栏：数据平台开发实习生文章标签： python spark

本文链接：https://blog.youkuaiyun.com/the_Sixth_String/article/details/52896695

本文介绍了如何使用Python开发Spark应用，通过Wordcount示例展示了词频统计的过程。涉及SparkContext初始化、split、strip、lambda函数、filter、map、flatMap、sortByKey和take等操作。还探讨了parallelize和makeRDD的区别，并提供了参考资料。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

待我学有所成，结发与蕊可好。@夏瑾墨

一个早上只做了一点微小的工作，很忏愧。但是发现Spark这玩意还是蛮有意思的。下面给大家介绍一下如何用python跑一遍Wordcount的词频统计的示例程序。

#在pyspark模块中引入SparkContext和SparkConf类
#在operator模块中导入add类
from pyspark import SparkContext, SparkConf 
from operator import add

#应用程序名
#初始化一个SparkContext，现在sc就是一个SparkContext的实例化对象，然后方可创建RDD。
appName = "WordCount"
conf = SparkConf().setAppName(appName).setMaster("local")
sc = SparkContext(conf=conf)

# inputFiles表示输入文件路径
# stopWordFile表示停词文件路径
# outputFile表示输出文件路径
inputFiles = "/home/hadoop/software/spark-2.0.0-bin-hadoop2.6/examples/src/main/resources/wordcount/*"
stopWordFile = "/home/hadoop/software/spark-2.0.0-bin-hadoop2.6/examples/src/main/resources/wordcount/stopword.txt"
outputFile