Scala中的for循环遍历和yield详解

for your wish

于 2021-11-25 11:34:24 发布

阅读量658

点赞数

CC 4.0 BY-SA版权

分类专栏： Scala 文章标签： hadoop scala

本文链接：https://blog.youkuaiyun.com/someInNeed/article/details/121534054

Spark 同时被 2 个专栏收录

41 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

Scala

5 篇文章

订阅专栏

本文详细介绍了Scala中for循环的使用，特别是yield关键字的功能。通过yield，for循环可以生成新的集合，如Map或List。文章讨论了如何遍历K-V对的RDD、数组RDD，并解释了for循环的返回值特性，即根据被遍历对象类型返回相应类型的集合。此外，还涵盖了在for循环中使用过滤条件（guards）和yield进行组合操作的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

K-V对的RDD遍历

val hashpartitionCounts: RDD[(String, Int)] = kvpartitionRDD.reduceByKey((x, y) => x + y)

hashpartitionCounts.foreach{ line=>
  println("word="+line._1+" ,num="+line._2)
}
//下面的for和上面的一样结果
for (i <- hashpartitionCounts)
  print("word="+i._1+" ,num="+i._2)

对数组RDD的遍历

  //测试flatMap
    val wordPairRDD:RDD[String] = lineRDD.flatMap(line => {
      //将行转化为单词数组
      val words: Array[String] = line.split(" ")
      //单个单词数组 转化为相邻单词数组
      for (i <- 0 until words.length - 1) yield words(i) + "-" + words(i + 1)
    }
    )
    println("==========flatMap测试==========")
    wordPairRDD.foreach(println)

其中存在的yield详解下

&nbs