Spark 通过Rdd进行倒叙排序

测试数据:
1 1603A 95
2 1603B 85
3 1603C 75
4 1603D 96
5 1604F 94
6 1604E 95
7 1604K 91
8 1604G 89
9 1501A 79
10 1502A 69
11 1503A 59
12 1504A 89
13 1701A 99
14 1702A 100
15 1703A 65

测试结果:
(1702A,100)
(1701A,99)
(1603D,96)
(1603A,95)
(1604E,95)
(1604F,94)
(1604K,91)
(1604G,89)
(1504A,89)
(1603B,85)
(1501A,79)
(1603C,75)
(1502A,69)
(1703A,65)
(1503A,59)

package com.spark.week3

import org.apache.spark.{SparkConf, SparkContext}

object Four {

  System.setProperty("hadoop.home.dir","D:/soft/hadoop/hadoop-2.7.3")

  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setMaster("local").setAppName("Week4Class")
    val df = new SparkContext(conf)
    val fileRdd = df.textFile("G:/data/week3class.txt")

	//方式一
//    fileRdd.map(line => {
//      val row= line.split(" ")
//      (row(1),row(2).toInt)
//
//    }).sortBy(line => line._2,false).foreach(println)

    fileRdd.map(line=> (line.split(" ")(1),line.split(" ")(2).toInt)).sortBy(line=>line._2,false).foreach(println)


    df.stop()

  }

}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值