Spark RDD案例（六）自定义排序

最新推荐文章于 2025-05-12 11:01:58 发布

原创

最新推荐文章于 2025-05-12 11:01:58 发布 · 865 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #scala #分布式计算

本文介绍了在大数据处理中如何使用Spark的RDD进行自定义排序。通过四个代码示例展示了如何按照年龄降序和工资升序对数据进行排序，详细解释了元组排序规则，并给出了在Scala环境下运行的代码及其结果。

Spark RDD案例（六）自定义排序

1. 背景

在大数据日常开发中，数据提取，转换，存储等工作是日常主要内容
spark作为大数据处理分析引擎，底层主要是RDD抽象数据集，更上层的spark sql、dataset、dataframe、dstream等都是基于RDD来抽象的。
本文主要讲述关于数据提取中最常见的数据排序处理，使用RDD来实现。最主要的是自定义排序，这也是日常开发中最常见的排序需求，一般都需要自定义排序规则

2.案例代码

需求

将数据按照年龄降序，工资升序

数据

代码中手工创建了几个，具体看代码

环境

idea 2020
maven 3.6.3
jdk 1.8
scala 2.12.12
pom文件

<!-- 定义了一些常量 -->
    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <scala.version>2.12.10</scala.version>
        <spark.version>3.0.1</spark.version>
        <hbase.version>2.2.5</hbase.version>
        <hadoop.version>3.2.1</hadoop.version>
        <encoding>UTF-8</encoding>
    </properties>

    <dependencies>
        <!-- 导入scala的依赖 -->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
            <!-- 编译时会引入依赖，打包是不引入依赖 -->
            <!--            <scope>provided</scope>-->
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient -->
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.12</version>
        </dependency>


        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>${spark.version}</version>
            <!-- 编译时会引入依赖，打包是不引入依赖 -->
            <!--            <scope>provided</scope>-->
        </dependency>

        <!-- https://mvnrepository.com/artifact/com.alibaba/fastjson -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.73</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.47</version>
        </dependency>

    </dependencies>

    <build>
        <pluginManagemen