Spark 算法练习两则

最新推荐文章于 2024-08-07 23:30:48 发布

懒癌牙套妹

最新推荐文章于 2024-08-07 23:30:48 发布

阅读量632

点赞数

CC 4.0 BY-SA版权

分类专栏：学习笔记文章标签： Scala 算法基础 Spark

本文链接：https://blog.youkuaiyun.com/weixin_42712876/article/details/85170876

本文通过六个练习介绍了Spark在处理数据时的算法应用，包括求最大最小值、查找爷孙关系、文件排序、二次排序以及倒排索引的实现，涵盖了数据处理和搜索效率提升的多个方面。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

练习一：求最大最小值

在文件中获取数据求浮点数和整数的最大值和最小值

1,2.33,4,1.55,2.56,
55,55,55,23.77,1.88987,0.3324,
22.567,5.5567,7.8895,33

import org.apache.spark.{SparkConf, SparkContext}

object demo01 {
  def main(args: Array[String]): Unit = {
    println("求最大最小值")
    val conf=new SparkConf().setMaster("local").setAppName("minmax")
    val sc = new SparkContext(conf)
    val data= sc.textFile("D:\\resource\\minmax.txt",1)
    var minn=Double.MaxValue
    var maxn=Double.MinValue
    val datap=data.flatMap{x=>x.split("\r\n").mkString("").split(",")}
    var i=1
    val countt=datap.count()
    for (x<-datap){
      val n=x.toDouble
      if(n>maxn)maxn=n
      if(n<minn)minn=n
      if(i==countt)println("最大值："+maxn+"， 最小值："+minn)
      i=i+1
    }
}

练习二：求爷孙关系