Flink源码阅读(五)ClosureCleaner

Flink源码解析：ClosureCleaner的内部类序列化优化
最新推荐文章于 2025-04-24 14:26:58 发布
原创 最新推荐文章于 2025-04-24 14:26:58 发布 · 1.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在阅读Flink源码时发现的`clean()`方法，该方法关联到ClosureCleaner类。ClosureCleaner主要用于解决内部类因持有外部对象引用导致的序列化问题。当外部对象未实现序列化接口时，ClosureCleaner会通过ASM字节码工具检查并清理引用，防止内部类序列化失败。文中还进行了实验验证，并提供了相关参考资料链接。

简介

查看flink源码时,发现api中有clean()方法,例如下图所示

public <K> KeyedStream<T, K> keyBy(KeySelector<T, K> key) {
   
   
		Preconditions.checkNotNull(key
最低0.47元/天 解锁文章

200万优质内容无限畅学
【Flink】Flink ClosureCleaner 闭包清除
九师兄
06-27 1545
1.概述 背景起源于我调试一个代码 public SingleOutputStreamOperator<T> assignTimestampsAndWatermarks( AssignerWithPeriodicWatermarks<T> timestampAndWatermarkAssigner) { // match parallelism to input, otherwise dop=1 sources could lead to some strange .
[Spark基础]--闭包清理类ClosureCleaner
欢迎来到我的博客，一起探索代码里的世界！
04-17 3017
什么是spark闭包？      我的理解：函数可以访问函数外面的变量，但是函数内对变量的修改，在函数外是不可见的。      计算机中的理解：在计算机科学中，闭包（Closure）是词法闭包（Lexical Closure）的简称，是引用了自由变量的函数。 这个被引用的自由变量将和这个函数一同存在，即使已经离开了创造它的环境也不例外。 所以，有另一种说法认为闭包是由函数和与其相关的引用环境组合而...
Flink ClosureCleaner：优化大数据处理中的闭包使用
学习使你进步。
08-31 182
在大数据处理领域，Flink ClosureCleaner（闭包清除器）是一个关键工具，用于优化闭包在分布式计算中的使用。Flink ClosureCleaner的目标是通过自动化闭包清理过程，减少闭包带来的潜在问题。它通过识别和优化闭包中的问题，减少闭包带来的性能问题和资源泄漏。首先，闭包可能会捕获大量的变量，导致序列化和传输的开销增加。闭包清除器的工作原理是通过分析闭包的结构，识别和优化其中的问题。生命周期管理：识别闭包中的资源依赖关系，及时释放不再需要的资源，避免资源泄漏和内存占用的增加。
spark闭包清理器ClosureCleaner
不说话装高手
09-02 3005
在spark给出的闭包清理器中的代码注释中，关于闭包的例子，给出了一个类作为例子，稍作修改如下。 class SomethingNotSerializable { def someMethod(): Unit = scope("one") { def y = someValue scope("two") { println(y + 1) } } ...
Spark闭包清理类ClosureCleaner简析
qq_32445015的博客
05-21 422
Spark闭包清理类ClosureCleaner简析 从6月初开始因为一些工作上的事情，已经好久没有写博客了，这次把之前Spark源码阅读中深入了解的Spark闭包清理类ClosureCleaner简单介绍下，将知识留个档以便以后忘记了还有个地方来还原下思路。 Scala闭包机制回顾 在之前文章Spark闭包清理类ClosureCleaner简析中已经简单介绍了Scala的闭包实现方式，即用$outer字段来从闭包中引用外部的变量。 另外在另一篇文章慎用Scala中的return表达式中，介绍了在l
flink源码阅读思维导图xmind
11-20
描述了flink源码框架。使用案例,常用函数，api等等，适合初学者了解和学习，反压,函数定义等等，欢迎下载讨论
Flink 源码编译
最新发布
主要分享大数据相关的知识，如Spark、Hudi
04-24 1319
Flink 源码编译
【Flink入门修炼】1-2 Mac 搭建 Flink 源码阅读环境
笨鸟先飞的博客
02-06 1379
在后面学习 Flink 相关知识时，会深入源码探究其实现机制。因此，需要现在本地配置好源码阅读环境。 本文搭建环境： ● Mac M1（Apple Silicon） ● Java 8 ● IDEA ● Flink 官方源码
Flink源码剖析
weixin_37172178的博客
10-04 2291
执行环境 ExecutionEnvironment数据抽象 DataSet DataStream逻辑操作 Source Transformation Sink1. 获取执行环境2. 通过执行环境对象，注册数据源Source，得到数据抽象3. 调用数据抽象的各种Transformation执行逻辑计算4. 将各自Transformation执行完毕之后得到的计算结果数据抽象注册Sink5. 提交Job执行。
Flink 闭包清理优化：提升大数据处理性能
JieLun_C的博客
08-17 222
然而，由于闭包中的变量可能引用了大量的数据，导致闭包函数的运行效率低下，尤其是在大规模数据处理的场景下。为了解决这个问题，Flink提供了ClosureCleaner（闭包清理）功能，可以对闭包进行优化，提升数据处理性能。通过使用ClosureCleaner，我们可以避免闭包函数中的成员变量被序列化，减少网络传输和对象创建开销，从而提高了程序的运行效率。希望本文能够帮助读者了解Flink闭包清理优化的原理和用法，并能够在实际应用中灵活运用，提高大数据处理的效率。在优化后的代码中，我们在。
报错:java.lang.NoSuchMethodError:org.apache.flink.api.java.ClosureCleaner.clean(Ljava/lang/Object；Z)V
weixin_52863669的博客
07-30 2870
java.lang.NoSuchMethodError:org.apache.flink.api.java.ClosureCleaner.clean(Ljava/lang/Object;Z)V——flink使用时报错 原因 flink-streaming-java（或scala）包在pom文件的位置与其他包冲突，maven扫描时出现了异常 比如我负责的模块中涉及到了Redis,引入了 这个依赖，而该依赖中 也有一个相同的包且作用域只在test,它的位置在streaming之上所以导致先被扫描…（大意了）
Flink 中 常见的clean()方法是用来干嘛的呢？
qq_20064763的博客
05-15 914
简介        阅读Flink源码的时候，经常看到如addSource、map、flatmap等方法里面都会调用clean()方法，阅读其注释给人一种抽象、触摸不到的感觉。 public <OUT> DataStreamSource<OUT> addSource(SourceFunction<OUT> function, String sourceName, TypeInformation<O
java实战1：程序常见Exception异常汇总
weixin_43930865的博客
12-16 3579
1：java序列化异常：Caused by: java.io.NotSerializableException: java.security.ProtectionDomain 在运行时突然报序列化异常 Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.Nati
flink运行报错：未序列化
weixin_41998764的博客
10-08 4283
flink序列化相关报错问题解决运行代码报错内容解决方式问题深入为什么会抛出该错误为什么需要序列化该错误抛出源为什么要清理闭包 问题解决 运行代码 public class JavaSourceEx { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironmen
flink 报错is not serializable. The object probably contains or references non serializable fields.
热门推荐
水镜先生的博客
07-21 1万+
今天有同事突然报了这样一个错误，刚开始确实没反应过来，成员变量不可以被序列化。。。。 Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: java.lang.ref.ReferenceQueue$Lock@11fc564b is not serializable. The object probably contains or references non serializable fields.
java泛型生命周期_Flink源码之StreamTask及Java泛型类型擦除和Flink类型暗示
weixin_35948011的博客
02-26 294
本帖最后由 levycui 于 2020-8-11 17:53 编辑问题导读：1、StreamTask的层级结构如何理解？2、StreamTask生命周期的抽象方法如何实现？3、Java泛型类型擦除如何实现？4、Flink类型暗示如何理解？上一篇：Flink源码之StreamOperatorStreamTask在Flink源码之StreamOperator中已经说到StreamOperator上层...
play json Flink 上应用遇到的坑
happyfreeangel的博客
07-16 2109
···· 最近开发flink 项目使用json, 遇到一个play json 很大的坑, 错误提示1: play.api.libs.json.JsResultException: JsResultException(errors:List((/cpu,List(JsonValidationError(List(error.expected.jsnumber),WrappedArray()))), ...
flink设置环境变量
Joseph25的博客
09-08 5737
环境设置 env = StreamExecutionEnvironment.getExecutionEnvironment(); env.getConfig.disableSysoutLogging(); 1，enableClosureCleaner()/disableClosureCleaner() 默认情况下启用闭包清理器。闭包清理器删除了对Flink程序中匿名函数类的不需要的引...
Flink 1.9.0 源码包下载与简介
标签"flink 源码包 jar"表示这个文件包含了与Flink相关的源码以及Java Archive (JAR)文件。JAR文件通常包含了Java类文件和相关的元数据，用于在Java平台上打包和部署应用程序。Flink作为一个开源大数据处理框架，它...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值