Spark经典案例5-求最大最小值

关注

原创最新推荐文章于 2026-04-09 22:34:20 发布 7.2k 阅读 AI 写同款· GEO 优化 ›

Spark经典案例之求平均值,最大最小值,求top值,非结构数据处理,统计每天新增用户数 1、需求分析对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩，如果有多门学科，则每门学科为一个文件。要求在输出中每行有两个间隔的数据，其中，第一个代表学生的姓名，第二个代表其平均成绩。 2、原始数据 1）math：张三,88 李四,99 王五,66 赵六,77 2）china：张三,78 李四,89 王五,96 赵六,67 3）english：张三,80 李四,82 王五,84 赵六,86 样本输出：张三,82 李四,90 王五,82 赵六,76 阅读详情

数据准备
eightteen_a.txt
102
10
39
109
200
11
3
90
28

eightteen_b.txt
5
2
30
838
10005

package ClassicCase

import org.apache.spark.{SparkConf, SparkContext}

/**
  * 业务场景：求最大最小值
  * Created by YJ on 2017/2/8.
  */


object case5 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local").setAppName("reduce")
    val sc = new SparkContext(conf)
    sc.setLogLevel("ERROR")
    val fifth = sc.textFile("hdfs://192.168.109.130:8020//user/flume/ClassicCase/case5/*", 2)
    val res = fifth.filter(_.trim().length>0).map(line => ("key",line.trim.toInt)).groupByKey().map(x => {
      var min = Integer.MAX_VALUE
      var max = Integer.MIN_VALUE
      for(num <- x._2){
        if(num>max){
          max = num
        }
        if(num<min){
          min = num
        }
      }
      (max,min)
    }).collect.foreach(x => {
      println("max\t"+x._1)
      println("min\t"+x._2)
    })
  }

}