Flink设置加载jar顺序

最新推荐文章于 2025-03-04 22:03:49 发布
最新推荐文章于 2025-03-04 22:03:49 发布
阅读量2.9k 收藏 2
点赞数 1
分类专栏： Flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hai4321/article/details/124258413
版权
当Flink执行任务遇到`ProgramInvocationException`和`ClassCastException`，原因是任务依赖与集群存在冲突。解决方法是在`flink-conf.yaml`中设置`classloader.resolve-order`为`parent-first`，使Flink优先从集群加载类，避免jar包中的类覆盖集群已有类。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Flink设置加载jar顺序

以下异常信息

org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler
...
Caused by: java.lang.IllegalStateException: Unable to instantiate java compiler
...
Caused by: java.lang.ClassCastException: org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.commons.compiler.ICompilerFactory

分析原因:执行Jar包中的依赖与集群中存在依赖冲突

解决办法，配置类加载顺序

flink-conf.yaml如下配置

classloader.resolve-order: parent-first

parent-first

优先从Flink集群加载类，如果没有该类，就从用户提交的任务(jar包)中加载

child-first (默认)

优先从Flink任务(jar包)加载类，如果没有，则从Flink集群加载

【Flink】Flink如何覆盖系统类、优先加载用户类、child-first使用技巧
九师兄
03-25 563
一个问题，关于类加载的，就是我使用了的依赖，但是我改了这个类，和任务在一个jar包里面，和Flink的lib中的jar在hdfs上，Flink on yarn的方式提交作业，但是我改的这个类不生效（还是用的flink-sql-connector-kafka里面的类），但是在我本地环境idea中能生效，有啥解决方案吗？
双亲委派模型与Flink的类加载策略——child-first和parent-first
2301_79366177的博客
09-15 356
在Flink中，默认使用的是parent-first类加载策略，但可以通过配置来选择使用child-first类加载策略。本文将介绍双亲委派模型和Flink中的类加载策略，包括child-first（子优先）和parent-first（父优先）的概念、特点以及如何在Flink中进行配置。它的核心思想是通过委派的方式，将类的加载任务委托给父类加载器，并在父类加载器无法加载时才由子类加载器尝试加载。在Flink中，默认使用的是parent-first类加载策略，即先尝试由父类加载器加载类。
类的加载、执行顺序
ZERO
07-18 570
什么时候类加载：第一次需要使用类信息时加载。  类加载的原则：延迟加载，能不加载就不加载。 JVM虚拟机规范严格规定了有且只有四种情况必须立即对类进行初始化（类的初始化有且仅有一次）：     1. 遇到new、getstatic、putstatic、invokestatic这四条字节码指令时，如果类还没有进行过初始化，则需要先触发其初始化。生成这四条指令最常见的Java代码场景是：使用
java.lang.ClassCastException: org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.com
最新发布
记录
03-04 309
第一反应是不是本地可执行的cdc jar包和hdfs:/flink/lib目录下的jar包冲突了，结果都不是，org.codehaus.commons.compiler.ICompilerFactory依赖的jar包是flink-table-runtime.jar，发现/flink/lib目录没有，尝试上传，依然报同样错误。适用场景：当你希望确保 Flink 核心库中的类优先于用户代码中的类时，使用这个设置。这意味着 Flink 会优先从用户代码和依赖项中加载类，而不是从 Flink 的核心库中加载。
Flink类加载
不甚了然的博客
05-14 2735
1.配置 以下三个是主要的加载方式配置，其他还有一些插件加载和加载异常处理的配置 1、classloader.resolve-order child-first（默认）、parent-first。从业务代码加载类时的策略，即先检查业务包还是按通常的java加载机制 2、classloader.parent-first-patterns.default 指定哪些类首先通过父类加载器解析，默认主要是java、flink、log4j一系列的 3、classloader.parent-first-patterns.
Flink的类加载器
从大数据到人工智能的博客
10-16 1489
概览 在运行 Flink 应用程序时，JVM 会随着时间的推移加载各种类。 这些类可以根据它们的来源分为三组： Java Classpath：这是Java的通用类路径，它包括JDK库，以及Flink /lib文件夹中的所有代码（Apache Flink的类和一些依赖）。 Flink 插件组件：插件代码在 Flink 的 /plugins 文件夹下的文件夹中。 Flink 的插件机制会在启动时动态加载一次。 动态用户代码：这些是动态提交的作业的 JAR 文件中包含的所有类（通过 REST、CLI、
Flink类加载机制详解
chanyue123的博客
01-13 817
讲解flink的类加载的分类、顺序以及如何解决冲突等
使用 加载 顺序_简介 FLINK 上传与加载用户依赖的策略
weixin_34331744的博客
12-04 621
近日梳理了 FLINK 中定制类加载器和上传用户依赖的相关代码，加之恰好看到邮件列表有人在问 parent-first 和 child-first 两个不同策略的具体含义，于是想简单介绍一下定制类加载器在 FLINK 当中的实践以及提交 FLINK 作业时用户依赖的上传的一些细节，以帮助遇到相关问题的用户对这方面的设计和实现有一个初步的认识。本文在介绍过程中会引用部分源码帮助理解，这是因为部分实现...
记一次Flink自带jar包与第三方jar包依赖冲突解决
qq_39448012的博客
08-25 2456
flink java.lang.NoClassDefFoundError: com/google/protobuf/GeneratedMessageV3
【Flink】Flink on Yarn 翻译 使用 hdfs jar yarn.provided.lib.dirs
九师兄
09-19 1086
看这个起源于一个群友的问题。群友写了UDF.jar想放到hdfs上，然后运行的时候，希望指定hdfs jar，希望能加载进去尝试使用如下方法发现不可以后面经过网友一起讨论，发现有这个参数。然后我在源码中找到如下案例顺便把整篇文章翻译了一下。
Flink源码剖析：Jar包任务提交流程
xingoo
01-19 1070
Flink基于用户程序生成JobGraph，提交到集群进行分布式部署运行。本篇从源码角度讲解一下Flink Jar包是如何被提交到集群的。(本文源码基于Flink 1.11.3) 1Flink run 提交Jar包流程分析 首先分析run脚本可以找到入口类CliFrontend，这个类在main方法中解析参数，基于第二个参数定位到run方法: try { // do action ...
Flink中的类加载机制
chenxyz707的博客
10-13 5151
Flink中的类加载机制Flink中的类加载机制Flink中的类加载配置项类图关系parent-first类加载child-first类加载如何处理类冲突呢 Flink中的类加载机制 Flink中的类加载配置项 Flink中关于类加载有以下配置选项 配置项 默认值 说明 classloader.resolve-order “child-first” 类加载顺序。child-first优先从Flink任务(jar包)中加载类，parent-first优先从Flink集群加载类。 class
NoSuchMethodError 与 jar包加载的位置顺序
书唐瑞的博客
04-03 453
jar包加载的位置顺序
Flink 动态加载 Jar 包，实现自定义算子加载执行
zx711166的博客
12-30 2560
Flink 动态加载 Jar 包，实现自定义算子加载执行动态加载Jar动态Jar调用方式 动态加载Jar 对应的参数： path：Jar 的存放路径。 env：Flink 的环境实例。 classPath：动态Jar的类路径。 import java.lang.reflect.Field; import java.lang.reflect.Method; import java.net.URL; import java.net.URLClassLoader; import java.util.Array
Flink SQL: JAR Statements
weixin_48813624的博客
11-08 1087
Flink SQL: JAR Statements
再谈双亲委派模型与Flink的类加载策略
LittleMagic's Blog
07-31 2256
类加载 简书被请去喝了三天茶，笔者也度过了炒鸡忙乱的三天。今天事情终于少一点了，专栏再开，写篇基础的热热身吧。 我们知道，在JVM中，一个类加载的过程大致分为加载、链接（验证、准备、解析）、初始化5个阶段。而我们通常提到类的加载，就是指利用类加载器（ClassLoader）通过类的全限定名来获取定义此类的二进制字节码流，进而构造出类的定义。Flink作为基于JVM的框架，在flink-conf.y...
Flink集群之Flink集群配置优化项
渐宽阁读书小弟
03-26 1274
文章目录Flink中Jobmanager、TaskManager组件常用优化配置项jobmanager.rpc.addressjobmanager.heap.mbtaskmanager.heap.mbtaskmanager.numberOfTaskSlotsparallelism.defaulttaskmanager.tmp.dirs注：动态参数 Flink中Jobmanager、TaskMana...
java Flink（十七）flink程序打包 单机部署 以及与kafka遇到的那些问题 解决 NoClassDefFoundError 解决无法消费 解决无法加载类用户classloader
qq_40771567的博客
05-08 3795
今天记录一下这两天部署flink程序的过程以及遇到的坑。 首先我的服务是一个flink计算服务，里边用到了kafka、redis等。 一、flink下载安装 https://archive.apache.org/dist/flink/ 点击下载flink版本，这里要选择好自己的flink匹配的hadoop版本以及scala版本。 这里我们选择的是比较稳定的1.7.2 ...
Flink生产环境设置并行度及优先级
qq_43118086的博客
07-21 1371
（1）代码中设置 ①全局设置 env. setParallelism (3) ②算子设置 map ((_,1)). setParallelism (3) （2）客户端CLI设置或webui直接输入 ①CLI提交任务 run: 代表执行; c: 指定入口类; p: 并行度; host, post: 主机地址端口 flink run -c com. dylan. Stream Wordcount -p 3 streamwordcount.jar --host host–port 7777 ②webui设置 （
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值