Python开发Spark应用之Wordcount词频统计

待我学有所成，结发与蕊可好。@夏瑾墨

---

一个早上只做了一点微小的工作，很忏愧。但是发现Spark这玩意还是蛮有意思的。下面给大家介绍一下如何用python跑一遍Wordcount的词频统计的示例程序。

#在pyspark模块中引入SparkContext和SparkConf类
#在operator模块中导入add类
from pyspark import SparkContext, SparkConf 
from operator import add

#应用程序名
#初始化一个SparkContext，现在sc就是一个SparkContext的实例化对象，然后方可创建RDD。
appName = "WordCount"
conf = SparkConf().setAppName(appName).setMaster("local")
sc = SparkContext(conf=conf)

# inputFiles表示输入文件路径
# stopWordFile表示停词文件路径
# outputFile表示输出文件路径
inputFiles = "/home/hadoop/software/spark-2.0.0-bin-hadoop2.6/examples/src/main/resources/wordcount/*"
stopWordFile = "/home/hadoop/software/spark-2.0.0-bin-hadoop2.6/examples/src/main/resources/wordcount/stopword.txt"
outputFile