Spark transform操作的非常规使用 - SparkContext.runJob()方法的调用

最新推荐文章于 2025-05-30 09:08:34 发布

beTree_fc

最新推荐文章于 2025-05-30 09:08:34 发布

阅读量1.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark实践文章标签： spark tramsform runjob

本文链接：https://blog.youkuaiyun.com/u013560925/article/details/90639663

spark实践专栏收录该内容

10 篇文章

订阅专栏

本文介绍了如何在Spark中手动触发纯transform操作的计算任务，特别是利用SparkContext.runJob()方法。通常，transform操作依赖于action如count()或show()来启动计算，但有时需要提前执行计算或在没有action的情况下执行任务。通过runJob()，可以在不需要额外计算成本或不优雅的action调用时，触发并获取计算过程中的信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前文

一般场景中，Spark计算任务中transform相关的操作都是由action进行触发的，常见的的比如write、collect、show等，或者在数据处理的过程中调用的groupbykey等API，进行shuffle数据重新分发，在提交任务时会把transform的操作作为前置任务进行提交，但是单纯的transform操作是无法触发spark计算任务的。

但是，单纯由transform API构建的Spark计算任务，应该怎么触发计算任务呢？

一些场景中会遇到单纯由transforms构成的计算流程，或者需要提前进行流程的计算，以节省时间，举例如下：

1.第一种，单纯由transforms构成的计算任务，当一个数据处理流程中存在异构计算平台的时候，需要将前一个Spark计算任务的RDD数据向后进行传递，可以采用采用mapPartition的方式，以分区数据为单位进行传递，在这个spark计算任务中，必须要一个操作来触发mapPartition以及其分区操作函数，当然可以用一个简单的count()或者show()操作进行触发。

2.第二种，需要提前进行流程的计算，尽可能的为流程的后半部分节省时间，当后面的任务触发的时候，可以直接使用前面流程计算好的数据，而不是一个假数据。

正文

1.count() / show() 等方式进行触发

这是最简单的一种方式，但是会引入额外的计算成本，比如count()，而show()的API调用会触发collect函数的调用，而且使用方式上也不够优雅。

2.sparkContext.runjob()方法触发

runjob()函数，每个action操作的执行方法中都包含一个方法调用，用来触发和提交Spark计算任务，该方法在sparkContext方法中，提供了以下几种调用接口：

其中有一个调用接口是有返回值的，可以返回一些计算过程中的信息，下面是一个简单的包装类，传入一个Dataset，触发其计算任务之后返回新的Dataset：

public class SparkJobSubmiter {
    //静态方法
    public static Dataset<Row> runJob(Dataset<Row> ds){
        RDD<Row> rdd = ds.rdd();
        //记录数据的schema信息，用于恢复
        StructType sche = ds.schema();
        //只能传入RDD
        ds.sparkSession().sparkContext().runJob(rdd, new JobFunc(), ClassTag$.MODULE$.apply( Void.class ));
        
        //恢复schema数据
        return ds.sparkSession().createDataFrame(rdd,sche);
    }
}

//辅助类 可以收集计算过程中的辅助信息
class JobFunc extends AbstractFunction1<Iterator<Row>, Void> implements Serializable {
    
    @Override
    public Void apply(Iterator<Row> iterator) {
    
        //可以添加自己的逻辑操作，监控计算过程
        return null;
    }
}