spark 源码里面的sealed trait 存在原因

最新推荐文章于 2025-02-25 06:24:04 发布
最新推荐文章于 2025-02-25 06:24:04 发布
阅读量1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： spark scala 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u011291159/article/details/51162663
本文介绍Spark中的监听器事件，包括Stage提交、完成及任务启动等关键事件，通过sealedtrait确保代码安全性。

//sealed关键字声明其他trait都不能再继承当前的trait//除非这个类与声明的这个trait在同一个class文件里。这样可以保证代码的安全性；

@DeveloperApi
sealed trait SparkListenerEvent

@DeveloperApi
case class SparkListenerStageSubmitted(stageInfo: StageInfo, properties: Properties = null)
  extends SparkListenerEvent

@DeveloperApi
case class SparkListenerStageCompleted(stageInfo: StageInfo) extends SparkListenerEvent

@DeveloperApi
case class SparkListenerTaskStart(stageId: Int, stageAttemptId: Int, taskInfo: TaskInfo)
  extends SparkListenerEvent

@DeveloperApi
case class SparkListenerTaskGettingResult(taskInfo: TaskInfo) extends SparkListenerEvent

这样做的目的可以保证代码安全性；

scala特质_Scala密封特质
08-02 175
scala特质 密封特质 (Sealed Trait) Sealed Traits in Scala are used to allow exhaustive checking in the Scala application. Due to this exhaustive checking, the program allows the members of the sealed trait t...
sparksql源码系列 | 一文搞懂Partitioning源码体系(spark3.2)
xiaoluobutou的专栏
02-16 481
决定要不要添加Exchange节点，主要是靠子节点的outputPartitioning(Partitioning)是否satisfies当前节点requiredChildDistributions(Distribution)来决定
spark scala中的sealed关键字
a627082796的博客
02-22 846
sealed关键字在scala的集合和模式匹配上面应用较多，本篇文章说明sealed的使用场景以及为什么使用sealed。 A sealed class cannot have any new subclasses added except the ones in the same file.这是sealed关键字比较官方的解释，意思是只在同一个文件中的添加其子类，除此以外不能有任何的子类（区别...
sealed trait Scala学习笔记-面向对象篇
wzq294328238的专栏
05-24 5683
被sealed 声明的 trait仅能被同一文件的的类继承。 除了这个，我们通常将sealed用于枚举中，因为编译器在编译的时候知道这个trait被哪些类继承过，因此我们在match时对sealed trait进行case 的时候，如果你没有判断全部编译器在编译时就会报错。下面举例：在Person.class文件中： sealed trait Person case class Teacher(n
scala 中的 sealed trait
klcola的专栏
08-11 1719
声明为 sealed 的 trait 只能被同一个文件内的 class 继承。sealed 关键字可以方便 scala 编程中模式匹配方法的使用，使用 sealed 关键字修饰的 trait 和相应的被 case 修饰的子类，类似其他语言中的 enums 类型的作用。由于 sealed trait 的所有子类都被封装在一个文件中，编译器就可以知道该 trait 的所有子类，从而在进行模式匹配时进行...
【Rust中级教程】2.11. API设计原则之受约束性(constrained) Pt.2：封闭trait(sealed trait)、重新导出(re-exports)、自动trait
最新发布
SomeB1oody, a rookie
02-25 722
Rust的一致性规则禁止了对某个trait为某类型进行多重实现。
【Spark ml源码系列】Spark ML 和 Spark MLlib 中vector转换用法用途示例中文源码详解
wang2leee的博客
11-24 918
Spark 中的 Vector 主要用于特征表示、模型输入、特征转换和模型预测结果等机器学习任务中。它提供了一种灵活和方便的方式来处理和操作特征向量，使得在 Spark ML 中进行机器学习任务更加高效和便捷
Spark Shuffle源码分析系列之ShuffleReader 一
进击的数据小白
11-06 1382
Shuffle涉及到三方面问题：Shuffle write写过程，中间数据记录过程以及Shuffle read读过程，上面几节我们分析了write和中间记录过程，本文将聚焦在Shuffle read部分。ShffuleRead什么时候进行数据读取？ShuffleMap产生的数据如何拉取过来？拉取过来的数据如何存储和处理？本节我将通过源码分析来解答这些问题。 问题 ShuffleRDD是何时产生的? Shuffle-ReduceTask在什么时候开始执行，是等parent stage中的一个Shuffl.
Spark源码学习笔记4-SparkEnv
lzy2014的专栏
04-30 2320
继3-LiveListenerBus之后，我们来看看SparkContext构造函数中初始化的SparkEnv
【Spark原理系列】 Window窗口计算原理用法示例源码分析
wang2leee的博客
09-28 773
Spark的窗口计算是通过以下步骤实现的：数据分区：首先，数据集根据指定的分区键进行分区。每个分区中的数据将作为一个独立的窗口进行计算。排序：在每个分区内，根据指定的排序规则对数据进行排序。这确保了在窗口函数应用之前，数据按照正确的顺序进行处理。窗口框架定义：根据窗口规范中定义的窗口帧类型、起始边界和结束边界，确定每个数据行所属的窗口范围。窗口函数计算：在每个窗口内，应用指定的窗口函数进行计算。窗口函数可以是聚合函数（如、）或分析函数（如、）。窗口函数结果返回：计算完窗口函数后，将结果返回给调用方。通常，结
scala中sealed关键字使用指南
白杨的专栏
03-10 7911
1. 防止继承滥用​sealed关键字可以修饰类和特质（特质）。密封类提供了一种约束：不能在类定义的文件之外定义任何新的子类。然而，这样做有什么用呢？在scala源码中List的实现用到了sealed关键字。抽象类List有sealed关键字修饰，接下来Nil和::分别继承了该List抽象类。那我们来尝试实现基于List实现一个自己的List：scala> class NewList extends
scala中的sealed
节至
09-03 2876
sealed关键字在scala的集合和模式匹配上面应用较多，本篇文章说明sealed的使用场景以及为什么使用sealed。 A sealed class cannot have any new subclasses added except the ones in the same file.这是sealed关键字比较官方的解释，意思是只在同一个文件中的添加其子类，除此以外不能有任何的子类（区别...
Scala的sealed关键字
LINBE_blazers的博客
03-27 386
Scala中sealed关键字可以修饰类和特质，其主要有2个作用： 其修饰的trait，class只能在当前文件里面被继承； 在检查模式匹配的时候，用sealed修饰目的是让scala知道这些case的所有情况，scala就能够在编译的时候进行检查，看你写的代码是否有没有漏掉什么没case到，减少编程的错误。 比如下面的代码，声明了两个trait，其中Test2是sealed声明： tra...
[Scala随用随学] —— sealed声明的作用
weixin_33738555的博客
06-28 133
今天在看MLlib的源码时，看到Vector的声明是sealed trait,很好奇这个sealed有什么作用，与是搜到了这个文章： http://www.cnblogs.com/rollenholt/p/4192758.html 试验了下，这个sealed就是保证你在match的时候需要把所有可能出现的情况都写出来。如果漏掉一个，就会报编译出错： 比如下面的代码，声明了两个trait，其中Tes...
scala sealed trait
houzhizhen的专栏
11-15 868
A sealed trait can be extended only in the same file as its declaration. They are often used to provide an alternative to enums. Since they can be only extended in a single file, the compiler knows e
trait
zl20117的博客
01-02 446
trait CreatesUserProviders { /** * The registered custom provider creators. * * @var array */ protected $customProviderCreators = [];
scala入门-07特质类(trait)的使用
weixin_30920597的博客
01-12 171
trait类似于Java8中的可用带default method的接口。 trait中可以带有实现的方法，也可以带有抽象方法，使用trait的方法是with而混入类中。 我们在scala下的org.scala.clazz下创建一个类MyTrait.scala 定义一个特质类 Logger 定义MyLogger类 实现特质类Logger 调用： ...
一步步学spark之一scala面向对象Trait 比较重要2.6
Angel、骷髅博客
05-24 1109
一步步学spark之一scala面向对象Trait Trait是scala中的接口，此接口与java中的接口不一样，scala中的Trait可以有实现的方法，也可以有抽象方法。Trait可以里面没有一个抽象方法，只有具体方法也可以作为一个Trait，此时Trait经常会被用作工具的集合混入对象中，让对象去使用。 如果一个类或者对象使用Trait，它在前面没有继承其他的类或者没有使用其他的T
Docker 安装 TensorFlow GPU 实战
热门推荐
我想静静
03-27 2万+
安装背景AI如雨后春笋般的出现，DEVOPS的理论不断深入。所有高大上的开源产品都支持两个环境：docker 和Linux。本文主要讲解怎么在一台安装了GPU的centos7 环境安装tensorflow docker镜像。国内就几个大厂的同学可以享受这种高级环境待遇，如果您有该环境建议尝试起来吧，毕竟AI可以让我们多一项skill。安装nvidia-dockernvidia 对docker进行了一
C#继承窗体设计示例源码解析
如果派生窗体不希望基类的方法被派生类重写，可以使用sealed关键字来防止进一步的继承。 - 在窗体的生命周期中，有多个关键的事件，如Form_Load、Form_Shown、FormClosing等。正确地处理这些事件对于窗体应用程序的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值