超级会员免费看
本文详细介绍了如何使用Scala和Python在Spark中分步和一步完成词频统计，包括创建RDD、拆分映射、键值对计算和结果排序，突出了Spark基础操作的学习点。
一、Spark实战：词频统计
（一）Scala版
1、分步完成词频统计
（1）基于文本文件创建RDD
- 执行命令：
val lines = sc.textFile("/home/test.txt")
（2）按空格拆分作扁平化映射
- 执行命令：
val words = lines.flatMap(_.split(" "))
（3）将单词数组映射成二元组数组
- 执行命令：
val tuplewords = words.map((_, 1))
（4）将二元组数组按键归约
- 执行命令：
val wordcount = tuplewords.reduceByKey(_ + _)
（5）将词频统计结果按次数降序排列
- 执行命令：
val sortwordcount = wordcount.sortBy(_._2, false)
订阅专栏 解锁全文
扫一扫
1880
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
