基于Spark rdd的单词计数，Java与Scala版本

最新推荐文章于 2023-12-14 16:03:53 发布

骑码找马

最新推荐文章于 2023-12-14 16:03:53 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签：基于Java的Spark rdd数单词基于Scala的Spark rdd数单词

本文链接：https://blog.youkuaiyun.com/weixin_42034217/article/details/97167977

本文介绍了如何使用Spark的Resilient Distributed Datasets（RDDs）进行单词计数，分别提供了Java和Scala两种语言的实现步骤。通过创建RDD、flatMap拆分、mapToPair、reduceByKey统计、sortedByKey排序以及最终输出结果来实现这一经典任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

步骤：

1.创建RDD
2.将文本进行拆分（flatMap)
3.将拆分后的单词进行统计 (mapToPair,reduceByKey)
4.反转键值对 (mapToPair)
5.按键升序排序 (sortedByKey)
6.再次反转键值对 (mapToPair)
7.打印输出(foreach)

Java版本

public class SortWordCount {
    public static void main(String[] args) throws Exception {
        SparkConf conf = new SparkConf().setAppName("SortWordCount").setMaster("local");
        JavaSparkContext sc = new JavaSparkContext(conf);
        // 创建lines RDD
        JavaRDD<String> lines = sc.textFile("D:\\Users\\Administrator\\Desktop\\spark.txt");
        // 将文本分割成单词RDD
        JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
            @Override
            public Iterator<String> call(String s) throws Exception {
                return Arrays.asList(s.split(" ")).iterator();
            }
        });
        //将单词RDD转换为（单词