Scala版算子总结（包括filter，sample等）【Scala版全代码】

最新推荐文章于 2022-07-22 11:52:31 发布

原创最新推荐文章于 2022-07-22 11:52:31 发布 · 541 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了一个使用Apache Spark进行数据处理的实例，通过加载文件、过滤特定字符串、取样及频率统计等操作，展示了Spark基本算子的应用。文章还介绍了如何使用filter、sample、flatMap等算子来处理和分析数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package com.bjsxt

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object SuanZi {
def main(args: Array[String]): Unit = {
/**
* 配置
* conf
*/
val conf=new SparkConf().setAppName("test").setMaster("local")
/**
* 上下文，传入conf
*/
val sc=new SparkContext(conf)
/**
* sc.textFile
* 传入文件
*/
val textFile=sc.textFile("./words")
/**
* filter算子
* 过滤
*/
val filter=textFile.filter(ss=>{
"hello HBase".equals(ss)
})
/**
* 循环打印输出
*/
filter.foreach(sd=>{
println(sd)
})
/**
* sample
* 取样
*/
val sample=textFile.sample(true,0.1, 100).foreach(println)
val flatMap=textFile.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
flatMap.map(_.swap).sortByKey(true).map(_.swap).foreach(println)
}

}