Spark实现单词计数(Java)

最新推荐文章于 2024-05-28 09:19:48 发布

万事无Bug

最新推荐文章于 2024-05-28 09:19:48 发布

阅读量785

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： spark java

本文链接：https://blog.youkuaiyun.com/weixin_45264992/article/details/120556070

本文介绍了使用Spark和Java如何实现单词计数。通过flatMap将字符串按空格拆分成单词，形成新的RDD，然后转化为PairRDD，以单词为键，值设为1。通过聚合操作计算单词总数。此外，还提到了使用countByValue()方法直接获取每个单词的计数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark实现单词计数(Java)

原理：
将存储字符串的普通RDD通过flatMap按照空格分割成单个的单词存储在新的RDD中，再将此RDD转化成PairRDD,单词作为键，而值全部设置为1.最后将所有键值对的value加起来，得到的数就是单词数量。


        JavaRDD<String> rdd = sc.parallelize(Arrays.asList("xiaobai is a big boss", "is it right", "sure you are right"));
        //每个字符串以空格切割
        JavaRDD<String> rdd1 = rdd.flatMap(new FlatMapFunction<String, String>() {
   
   
            @Override
            public