Flink的类加载机制、参数配置及具体任务执行时的类加载代码讲解

最新推荐文章于 2025-03-20 16:22:58 发布
最新推荐文章于 2025-03-20 16:22:58 发布
阅读量2.8k 收藏 4
点赞数 2
分类专栏： flink实战 文章标签： flink 类加载 ChildFirst ParentFirst TaskExecutor
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/penriver/article/details/120286005
版权
本文详细分析了Flink的类加载机制，包括FlinkUserCodeClassLoader、ParentFirstClassLoader和ChildFirstClassLoader的源码解析，以及在具体任务执行时如何通过TaskManager的submitTask()方法加载和实例化目标类。同时，针对类冲突处理提出了解决方案，如调整classloader.resolve-order策略或使用shade插件避免版本冲突。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

基于flink 1.13.2代码分析

1 flink类加载

1.1 相关的配置

flink类加载相关的配置

配置项 默认值 类型 描述
classloader.check-leaked-classloader true Boolean 如果一个作业的用户类加载器在作业终止后使用，则装入类的尝试将失败。这通常是由滞留线程或行为不当的库泄漏类加载器造成的，这也可能导致其他作业使用类加载器。只有当泄漏阻止了进一步的作业运行时，才应该禁用此检查.
classloader.fail-on-metaspace-oom-error true Boolean 如
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink】Flink classloader.check-leaked-classloader
九师兄
01-21 3729
解决方法flink-conf.yaml设置false对应的源码如果作业的用户类类加载器在作业终止后被使用，则装入类的尝试将失败。这通常是由于类加载器被滞留线程，或行为不当的库泄漏而引起的，这也可能导致类加载器被其他作业使用。只有当此类泄漏阻止其他作业运行时，才应禁用检查。...
Flink ClassLoader 检测泄漏的类加载器
JieLun_C的博客
08-30 458
然而，如果任务中的代码存在内存泄漏或资源未正确释放的情况，就可能导致类加载器无法被回收，从而引发泄漏的类加载器问题。然而，如果任务中的代码存在内存泄漏或资源未正确释放，就可能导致类加载器无法回收，引发泄漏的类加载器问题。总结起来，泄漏的类加载器是大数据处理框架中常见的问题之一，如果不及时解决，可能会导致内存泄漏和其他不可预测的后果。通过这种方式，我们可以及时发现和解决潜在的泄漏问题，避免因泄漏的类加载器而引发的各种隐患。通过这种方式，可以及时发现和解决潜在的泄漏问题，避免由于泄漏的类加载器引发的各种隐患。
flink 任务执行类的加载
不说话装高手
12-08 3243
执行具体任务的TaskManager在要执行向相应的具体的任务之前，都是通过submitTask()方法得到具体所要执行的任务的。 在submitTask()中，部署的任务信息并不包含具体所要执行的目标任务类jar包。   所要任务的抽象是Task类。其实现了Runnnable接口，自然提供了run()方法可提供给线程进行调用。在其构造方法中，以自身为target作为Thread构造函数的参...
Flink集群的类加载机制导致某些配置或代码逻辑被覆盖的问题解决方案
最新发布
在搭建Flink实时数仓，欢迎交流～
03-20 555
博主在测试flink开发任务的时候发现，以下代码在本地测试的时候没有问题，但是上传到flink集群中跑的时候，数据发送不到指定的kafka主题sinkTopic，而是发送了其他的 topic。...
Flink中的类加载机制
chenxyz707的博客
10-13 5126
Flink中的类加载机制Flink中的类加载机制Flink中的类加载配置项类图关系parent-first类加载child-first类加载如何处理类冲突呢 Flink中的类加载机制 Flink中的类加载配置项 Flink中关于类加载有以下配置选项 配置项 默认值 说明 classloader.resolve-order “child-first” 类加载顺序。child-first优先从Flink任务(jar包)中加载类，parent-first优先从Flink集群加载类。 class
Flink1.14提交任务报错classloader.check-leaked-classloader问题解决
遇安的博客
02-01 3605
Trying to access closed classloader. Please check if you store classloaders directly or indirectly in static fields. If the stacktrace suggests that the leak occurs in a third party library and cannot be fixed immediately, you can disable this check with t
Flink使用自定义Sink类向神通数据库插入数据
weixin_42393724的博客
08-31 705
使用自定义Sink类的方式:如下 这是使用的是Table转为DataStream，只是使用.addSink()方法 TupleTypeInfo<Tuple2<String, String>> tupleType = new TupleTypeInfo<>(STRING(), STRING()); Table mySourceTable = stEvn.from("test_source"); DataStream dataStream =stEvn.toAppendSt
Flink进阶系列--类加载机制
打酱油的葫芦娃
04-10 7647
本文的Flink源码版本为: 1.15-SNAPSHOT，读者可自行从Github clone. 要讲解 Flink 的类加载机制，首先你得对 JDK 的类加载机制有所了解。 推荐阅读我之前写的1篇博客: 基于源码深入了解Java的类加载机制(JDK8和JDK11双版本) 接着看一下 FLink 的类加载器继承结构： FlinkUserCodeClassLoader 继承自 URLClassLoader 类，其 loadClass() 方法实现如下: @Override public final Cl.
Flink中的自定义参数与模型配置
AI天才研究院
07-20 3023
作者：禅与计算机程序设计艺术 在企业级生产环境中，由于各种各样的原因，通常会要求对一些组件的参数进行定制化设置，或者需要加载外部配置文件来控制一些组件的行为。目前，Apache Flink 提供了基于配置文件的动态参数配置方式，能够灵活地调整组件运行时的参数。除了参数配置外，Flink 还支持通过 Java API 的形式加载外部模型，例
Flink 有状态流处理和容错机制原理与代码实例讲解
AI天才研究院
07-08 1012
Flink 有状态流处理和容错机制原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM Flink 有状态流处理
Flink Memory Management原理与代码实例讲解
AI天才研究院
06-16 732
Flink Memory Management原理与代码实例讲解 1. 背景介绍 Apache Flink是一个开源的分布式流处理框架,旨在提供有状态计算的高性能、低延迟和准确一次的流处理。在大数据时代,实时数据处理变得越来越重要,Flink的内存管理机制对
flink you can disable this check with the configuration ‘classloader.check-leaked-classloader‘
a123147abc的博客
12-03 2936
flink 1.13.3 Exception in thread “Thread-6” java.lang.IllegalStateException: Trying to access closed classloader. Please check if you store classloaders directly or indirectly in static fields. If the stacktrace suggests that the leak occurs in a third par
【FLink】access closed classloader classloader.check-leaked-classloader
九师兄
06-24 1517
1.概述 本日在一个环境提交flink任务，这个flink任务原先适配了一下，使用的是flink 1.9.1,然后本次适配是使用 flink 1.12 然后提交任务的时候报错 Exception in thread "Thread-6" java.lang.IllegalStateException: Trying to access closed classloader. Please check if you store classloaders directly or indirectly in .
Flink 任务提交报错：you can disable this check with the configuration ‘classloader.check-leaked-classloader
cola_six的博客
02-10 1073
Flink 任务提交失败
Flink类加载机制详解
chanyue123的博客
01-13 800
讲解flink的类加载的分类、顺序以及如何解决冲突等
you can disable this check with the configuration ‘classloader.check-leaked-classloader‘.
weixin_59295776的博客
06-06 633
解决方案:添加下方加粗部分。
[Flink on yarn]Please check if you store classloaders directly or indirectly in static fields.
weixin_62726295的博客
12-06 1319
flink on yarn flink run -m yarn-cluster -p 2 -yjm 2G -ytm 2G $FLINK_HOME/examples/batch/WordCount.jar
flink 运维中遇到的问题
h952520296的博客
03-03 9319
1. Java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath. For more information refer to the "Deployment" section of the official Apache Flink documentation.
you can disable this check with the configuration ‘classloader.check-leaked-classloader‘
paulgeorge9527的博客
08-11 4617
Exception in thread “Thread-3” java.lang.IllegalStateException: Trying to access closed classloader. Please check if you store classloaders directly or indirectly in static fields. If the stacktrace suggests that the leak occurs in a third party library an
flink flink类加载器原理与隔离
12-01
flink是一个流式处理框架，其类加载器原理和隔离机制是保证flink程序稳定运行和实现各个作业之间隔离的重要手段。 首先，flink的类加载器原理主要涉及到两个方面，一个是用户代码的加载，一个是框架自身代码的加载。用户代码通过flink的用户类加载器加载，而框架自身的代码则由flink框架的内置类加载器加载。这样做的好处是可以使用户代码和框架代码相互隔离，避免相互干扰，提高程序的稳定性和可靠性。 其次，flink实现了作业隔离的机制，保证各个作业之间不会相互影响。在flink中，每个作业都会有自己的类加载器，这样可以保证不同作业之间的类不会相互干扰。同时，flink还提供了隔离的任务管理器和资源调度器，确保每个作业都能够独立运行和调度资源，避免互相影响。此外，flink还支持作业级别的隔离配置，用户可以通过配置来对作业进行隔离，提高程序的并发度和性能。 总之，flink的类加载器原理和隔离机制是保证flink程序稳定运行和实现作业之间隔离的重要手段，可以有效提高程序的稳定性和可靠性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

enjoy编程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值