pyspark学习（一）-- 入门程序word count

最新推荐文章于 2025-09-19 15:00:30 发布

原创

最新推荐文章于 2025-09-19 15:00:30 发布 · 9.2k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#pyspark

本文介绍了使用PySpark实现Word Count的基本步骤和原理。在Windows 10环境下，借助Spark 1.6和Python 2.7，通过PyCharm进行开发。Word Count是学习Spark的典型入门程序，其思路包括将输入转换为RDD，通过map操作生成(word, 1)对，再用reduceByKey累加相同单词的计数。此外，还概述了Spark应用的驱动程序和RDD的概念，以及SparkContext在连接集群中的作用。" 48518637,3378179,图像局部特征学习：尺度空间与最佳尺度,"['图像处理', '特征检测', '尺度空间', '图像分析', '计算机视觉']

1. 学习spark的第一个程序 wordcount

先说下本人的开发环境和工具：

win10
spark 1.6
python 2.7
pycharm

什么是word count？单词计数

为什么第一个程序是它，helloword呢？基本上是学习hadoop的mapreduce或spark入门的第一个程序，地位类似于学习写代码时的hello world。

言归正传

代码

from pyspark import SparkConf, SparkContext

# 创建SparkConf和SparkContext
conf = SparkConf().setMaster("local").setAppName("lichao-wordcount")
sc = SparkContext(conf=conf)

# 输入的数据
data=["hello","world","hello","word","count","count","hello"]

# 将Collection的data转化为spark中的rdd并进行操作
rdd=sc.parallelize(data)
resultRdd = rdd.map(lambda word: (word,1)).reduceByKey(lambda a,b:a+b)

# rdd转为collecton并打印
resultColl = resultRdd.collect()
for line in resultColl:
    pri