Flink 提交jar，报错no class Configuration not find

最新推荐文章于 2024-08-07 16:42:07 发布
最新推荐文章于 2024-08-07 16:42:07 发布
阅读量749 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Flink 文章标签： flink jar hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/tryll/article/details/127126456
博客内容描述了在使用Flink将数据sink到Hbase时遇到的错误，以及解决问题的两个步骤：配置环境变量和替换特定的jar包。重点在于Uber jar与非Uber jar的区别，作者指出Uber jar解决了问题，但未详细说明具体差异。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

bug描述

在Flink将数据sink到Hbase里面，提交作业到flink 集群运行报错。

在这里插入图片描述

解决方案

1、刚开始是将hbase_home，hadoop_home 配置环境变量到/et/profile文件。
2、将flink-shaded-hadoop-2-uber-2.7.5-7.0.jar 放到flink/lib文件夹下面。注意这里有个坑：
就是这个jar我第一次下载的是flink-shaded-hadoop-2-2.7.5-7.0.jar这个包，就报上面的错误，后来我替换成-uber的jar包就不报错了。

疑问

带uber的jar包和不带uber的jar的区别是什么？

【Flink】Flink 1.9 升级 1.12.4 本地可以运行 打包后 集群运行就找不到类 ClassNotFoundException
九师兄
07-07 1216
1.场景1 1.1 概述 升级过程请参考： 【Flink】Flink 从 1.9.1 版本 升级到 1.12.4 版本的 注意事项 以及 过程 然后本地运行好好的，但是而且，是在主类中类。 打开jar包也是存在这个类的 但是启动报错找不到类 启动脚本如上 实际上的包结构如下 最后将主类放到lib下才解决，仅仅这个还不行。还会报错各种类找不到。 参考：https://blog.youkuaiyun.com/weixin_53803675/article/details/115934556 1.打包上传后，加载类
【Flink】Flink 提交任务到Yarn 报错 flink/lib 、could not find or load main class flink.client.cli.CliFronte
九师兄
03-15 823
今天使用命令提交任务到flink，但是运行报错执行的命令如下。
cmd运行jar包报错找不到主类_Flink 实时计算 - SQL 任务用户自定义 Jar 使用
weixin_39737224的博客
11-24 722
我是Lake，专注大数据技术、程序员经验、互联网科技见解分享，如果你觉得这篇文章对你有帮助的话，欢迎你点赞转发或者关注我，你的一个小小的鼓励，就是我前进的最大动力。最近在做 Flink SQL 任务方面的开发，有这样一种情况，用户自己上传自定义的 UDF Jar 包，这里你可以理解为是用户自己定义的函数 Jar 包，然后在写的 Flink SQL 任务的时候，需要能够用到 Jar 包中定义的 UD...
flink提交jar包到web报错找不到主类
Hardhen的博客
11-16 1094
flink上传jar包报错
flink运行出现的问题---kafka中找不到Rate$这个类
weixin_43655417的博客
07-30 346
在flink的配置文件中，添加设置metrics.fetcher.update-interval: 0，使flink不监控kafka指标
Flink: Could not find any factory for identifier kafka/jdbc/hive implements DynamicTableFactory 根治方法
Laurence的技术博客
04-25 2313
运行 Flink 应用或执行 Flink SQL 时会经常遇到下面的错误：org.apache.flink.table.api.ValidationException: Could not find any factory for identifier kafka jdbc hive hudi mysql-cdc that implements ‘org.apache.flink.table.factories.DynamicTableFactory’ in the classpath.
Flink Table API SQL Could not find any factories that implement ‘org.apache.flink.table.delegation.E
qq_45472675的博客
08-07 1682
【代码】Flink Table API SQL Could not find any factories that implement 'org.apache.flink.table.delegation.E。
flink写文件报错（lang.NoClassDefFoundError: org/apache/flink/api/common/typeinfo/TypeInformation）
qq_39315954的博客
11-30 2096
1. 使用Flink存储parquet文件报错 21/07/15 14:24:47 INFO checkpoint.CheckpointCoordinator: Triggering checkpoint 2 (type=CHECKPOINT) @ 1626330287296 for job 06a80360b770722f8dd3e41252a5a8d7. 21/07/15 14:24:47 INFO filesystem.Buckets: Subtask 2 checkpointing for chec
【Flink】Could not get job jar and dependencies from JAR file: JAR file does not exist:
一杯咖啡半杯糖的博客
12-01 6481
问题背景：使用flink客户端执行flink提交到yarn上，输入参数-yjm等调整flink参数，执行后出现下面问题 /data/flink/flink-1.13.2/bin/flink run -yjm 4096m -ytm 4096m -ynm test13 -yd -m yarn-cluster -yqu test -C https://files.huizecdn.com/file2/M00/00/01/rBMBfmGSRQqAAIQSAAAKEcKAWyg678.jar -c co
Flink打包生成安装包缺少jar包
weixin_30906185的博客
02-23 779
官方默认打包生成的安装包的flink-release-1.7.0\flink-dist\target\flink-1.7.0-bin\flink-1.7.0\lib下缺少jar flink-dist项目修改两个配置文件，添加需要打入到安装包的jar包 flink-release-1.7.0\flink-dist\src\main\assemblies\bin.xml &l...
flink依赖jar包——解决NoClassDefFoundError: com/sun/jersey
01-22
当flink on yarn模式运行时，发生如下异常信息，需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:45) at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:163) at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:150) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) ... Caused by: java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig
Flink程序本地可以运行，但Flink程序打包上传Flink集群后，出现ClassNotFoundException / NoClassDefFoundError异常
weixin_53803675的博客
04-21 2515
Flink本地可以运行，但Flink程序打包上传Flink集群后，出现ClassNotFoundException / NoClassDefFoundError异常 出现这种状况可能有以下两种： 1.打包上传后，加载类使用冲突，原因时集群lib目录下本身有这个Jar包，打包上传也带着这个Jar包，在加载时会出现类冲突 2.设置双亲委派机制（原理查看其它文章），在flink-conf.yaml中添加classloader.resolve-order: parent-first 优先使用父类加载器，仅供参考
Flink 1.13.5 本地运行 ClassNotFoundException: xxx
SmartSi
05-04 341
这些依赖项是 Flink 核心依赖项，在实际运行时已经被加载，只需要对它们进行编译，不应将它们打包到项目生成的应用程序 jar 文件中
flink命令行提交jar任务(Caused by : java.lang.ClassNotFoundException: org.myorg.quickstart.StreamingJob)
记录日常开发过程中遇到的一些问题
09-01 1164
首先进入bin目录： 1、运行样例： ./flink run ../examples/streaming/WordCount.jar 2、指定入口类 ./flink run -c com.jobs.OrderSizeJob ../flowflink.jar 注意： 顺序不要反了： ./flink run ../flowflink.jar -c com.jobs.OrderSizeJob 会报错： Caused by : java.lang.ClassNotFoundException: ..
【Flink】Flink 报错 flink 1.12.5 启动作业报 partition not found
九师兄
12-13 1700
flink 1.12.5 启动作业报 partition not found的问题， 可能是什么原因导致的启动作业就有这个问题，特别是耗费资源一百多g的大作业出现的更频繁基本每个作业都出现， flink 1.12.5 native k8s模式是不是有些算子state很大或者要load非常大的维表之类的，gc的话会无法响应下游的partition request，到达max backoff之后还连不上就会触发这个？
Flink Jar包运行报错及解决方法
PixelDyno的博客
09-12 1032
NoClassDefFoundError也是一个常见的Jar包运行报错，它通常是由于类在编译时存在，但在运行时找不到导致的。ClassNotFoundException是最常见的Jar包运行报错之一，通常是由于缺少依赖库或类路径配置不正确导致的。在使用Flink进行分布式流处理时，有时可能会遇到Jar包运行报错的情况。如果使用的是分布式集群，确保所有的节点上的类路径配置一致。如果使用的是分布式集群，确保所有的节点上的类定义一致。如果使用的是分布式集群，确保所有的节点上的本地库文件一致，并且路径配置正确。
flink单机部署报错问题汇总
weixin_43974943的博客
01-16 915
flink部署问题处理
Flink动态添加依赖Jar包提交到Yarn
upupfeng的博客
02-06 3964
背景 开发的flink程序，要使用yarn-cluster的方式进行部署。 程序中依赖了很多第三方jar包，不想用shade那种打包方式打成一个大jar包，然后提交。 想将应用程序jar包和依赖jar包分开，依赖的jar包在提交时一起提交上去（像spark on yarn直接指定“–jars”这样），但是找了好久发现flink官方没有提供这样的方式。 直接将依赖的jar包放在flink的lib目录下，可以实现，但是感觉这样会污染flink的lib包。 于是找到了如下方法，可以实现类似的功能。在此记录分享一下
flink连接hbase方法及遇到的问题
weixin_30294295的博客
04-28 2988
1、继承RichSinkFunction 类 　　mvn配置： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-hbase_2.12</artifactId> ...
Caused by: java.lang.ClassNotFoundException: org.apache.flink.api.java.typeutils.ResultTypeQueryable at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lang.ClassLoader.loadClass(ClassLoader.java:418) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355) at java.lang.ClassLoader.loadClass(ClassLoader.java:351) ... 19 more解决
最新发布
07-06
- 如果是提交到 Flink 集群运行，设为 `provided`： ```xml <groupId>org.apache.flink <artifactId>flink-java <version>1.17.0 <scope>provided ``` #### **(4) 清理并重建项目** - **IDE 操作**： - ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值