Spark经典案例之数据排序

rong_code

于 2019-03-08 17:24:55 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark Core

本文链接：https://blog.youkuaiyun.com/zhang__rong/article/details/88355330

本文介绍了如何使用Spark对数据进行排序，以满足如学生成绩评比、数据索引建立等业务场景的需求。通过实例展示了对包含多个数字的输入文件进行排序，输出结果包括原始数据在数据集中的位次和原始数据本身。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

业务场景：数据排序

1、”数据排序”是许多实际任务执行时要完成的第一项工作，
比如学生成绩评比、数据建立索引等。这个实例和数据去重类似，都是先对原始数据进行初步处理，为进一步的数据操作打好基础。
1）、需求描述
对输入文件中数据进行排序。输入文件中的每行内容均为一个数字，即一个数据。
要求在输出中每行有两个间隔的数字，其中，第一个代表原始数据在原始数据集中的位次，第二个代表原始数据。

2）输入文件
file1：
2
32
654
32
15
756
65223

file2：
5956
22
650
92

file3：
26
54
6

样例输出：
1 2
2 6
3 15
4 22
5 26
6 32
7 32
8 54
9 92
10 650
11 654
12 756
13 5956
14 65223

package ClassicCase

import org.apache.spark.{SparkConf, SparkContext}

/**
  * 业务场景：数据排序
  * Created by YJ on 2017/2/8.
  */


object case3 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local").setAppName("r

最低0.47元/天解锁文章