flink on yarn 问题记录2

已于 2023-12-05 14:44:00 修改
阅读量1.7k 收藏 1
点赞数
文章标签： flink java 大数据
于 2022-09-02 11:05:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_58149226/article/details/126658376
版权

错误1:

Caused by: io.debezium.DebeziumException: com.mysql.cj.jdbc.exceptions.MySQLTransactionRollbackException: Lock wait timeout exceeded; try restarting transaction

错误2:

org.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event producer. This connector will be stopped.

Caused by: org.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event producer. This connector will be stopped.
	at io.debezium.pipeline.ErrorHandler.setProducerThrowable(ErrorHandler.java:42) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at io.debezium.pipeline.ChangeEventSourceCoordinator.lambda$start$0(ChangeEventSourceCoordinator.java:127) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) ~[?:1.8.0_202]
	at java.util.concurrent.FutureTask.run(FutureTask.java:266) ~[?:1.8.0_202]
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) ~[?:1.8.0_202]
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ~[?:1.8.0_202]
	at java.lang.Thread.run(Thread.java:748) ~[?:1.8.0_202]
Caused by: io.debezium.DebeziumException: com.mysql.cj.jdbc.exceptions.MySQLTransactionRollbackException: Lock wait timeout exceeded; try restarting transaction
	at io.debezium.pipeline.source.AbstractSnapshotChangeEventSource.execute(AbstractSnapshotChangeEventSource.java:82) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at io.debezium.pipeline.ChangeEventSourceCoordinator.lambda$start$0(ChangeEventSourceCoordinator.java:110) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) ~[?:1.8.0_202]
	at java.util.concurrent.FutureTask.run(FutureTask.java:266) ~[?:1.8.0_202]
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) ~[?:1.8.0_202]
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ~[?:1.8.0_202]
	at java.lang.Thread.run(Thread.java:748) ~[?:1.8.0_202]
Caused by: com.mysql.cj.jdbc.exceptions.MySQLTransactionRollbackException: Lock wait timeout exceeded; try restarting transaction
	at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:123) ~[OUC-Flink-V8.jar:?]
	at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:97) ~[OUC-Flink-V8.jar:?]
	at com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException(SQLExceptionsMapping.java:122) ~[OUC-Flink-V8.jar:?]
	at com.mysql.cj.jdbc.StatementImpl.executeInternal(StatementImpl.java:782) ~[OUC-Flink-V8.jar:?]
	at com.mysql.cj.jdbc.StatementImpl.execute(StatementImpl.java:666) ~[OUC-Flink-V8.jar:?]
	at io.debezium.jdbc.JdbcConnection.executeWithoutCommitting(JdbcConnection.java:1373) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at io.debezium.connector.mysql.MySqlSnapshotChangeEventSource.tableLock(MySqlSnapshotChangeEventSource.java:540) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at io.debezium.connector.mysql.MySqlSnapshotChangeEventSource.readTableStructure(MySqlSnapshotChangeEventSource.java:310) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at io.debezium.relational.RelationalSnapshotChangeEventSource.doExecute(RelationalSnapshotChangeEventSource.java:122) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at io.debezium.pipeline.source.AbstractSnapshotChangeEventSource.execute(AbstractSnapshotChangeEventSource.java:71) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at io.debezium.pipeline.ChangeEventSourceCoordinator.lambda$start$0(ChangeEventSourceCoordinator.java:110) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) ~[?:1.8.0_202]
	at java.util.concurrent.FutureTask.run(FutureTask.java:266) ~[?:1.8.0_202]
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) ~[?:1.8.0_202]
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ~[?:1.8.0_202]
	at java.lang.Thread.run(Thread.java:748) ~[?:1.8.0_202]
	
org.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event producer. This connector will be stopped.
	at io.debezium.pipeline.ErrorHandler.setProducerThrowable(ErrorHandler.java:42) ~[OUC-Flink-1.0-SNAPSHOT.jar:?]
	at io.debezium.pipeline.ChangeEventSourceCoordinator.lambda$start$0(ChangeEventSourceCoordinator.java:127) ~[OUC-Flink-1.0-SNAPSHOT.jar:?]
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) ~[?:1.8.0_202]
	at java.util.concurrent.FutureTask.run(FutureTask.java:266) ~[?:1.8.0_202]
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) ~[?:1.8.0_202]
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ~[?:1.8.0_202]
	at java.lang.Thread.run(Thread.java:748) ~[?:1.8.0_202]
Caused by: io.debezium.DebeziumException: com.mysql.cj.jdbc.exceptions.MySQLTransactionRollbackException: Lock wait timeout exceeded; try restarting transaction
	at io.debezium.pipeline.source.AbstractSnapshotChangeEventSource.execute(AbstractSnapshotChangeEventSource.java:82) ~[OUC-Flink-1.0-SNAPSHOT.jar:?]
	at io.debezium.pipeline.ChangeEventSourceCoordinator.lambda$start$0(ChangeEventSourceCoordinator.java:110) ~[OUC-Flink-1.0-SNAPSHOT.jar:?]
	... 5 more
Caused by: com.mysql.cj.jdbc.exceptions.MySQLTransactionRollbackException: Lock wait timeout exceeded; try restarting transaction
	at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:123) ~[OUC-Flink-1.0-SNAPSHOT.jar:?]
	at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:97) ~[OUC-Flink-1.0-SNAPSHOT.jar:?]
	at com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException(SQLExceptionsMapping.java:122) ~[OUC-Flink-1.0-SNAPSHOT.jar:?]
	at com.mysql.cj.jdbc.StatementImpl.executeInternal(StatementImpl.java:764) ~[OUC-Flink-1.0-SNAPSHOT.jar:?]
	at com.mysql.cj.jdbc.StatementImpl.execute(StatementImpl.java:648) ~[OUC-Flink-1.0-SNAPSHOT.jar:?]
	at io.debezium.jdbc.JdbcConnection.executeWithoutCommitting(JdbcConnection.java:1373) ~[OUC-Flink-1.0-SNAPSHOT.jar:?]
	at io.debezium.connector.mysql.MySqlSnapshotChangeEventSource.tableLock(MySqlSnapshotChangeEventSource.java:540) ~[OUC-Flink-1.0-SNAPSHOT.jar:?]
	at io.debezium.connector.mysql.MySqlSnapshotChangeEventSource.readTableStructure(MySqlSnapshotChangeEventSource.java:310) ~[OUC-Flink-1.0-SNAPSHOT.jar:?]
	at io.debezium.relational.RelationalSnapshotChangeEventSource.doExecute(RelationalSnapshotChangeEventSource.java:122) ~[OUC-Flink-1.0-SNAPSHOT.jar:?]
	at io.debezium.pipeline.source.AbstractSnapshotChangeEventSource.execute(AbstractSnapshotChangeEventSource.java:71) ~[OUC-Flink-1.0-SNAPSHOT.jar:?]
	at io.debezium.pipeline.ChangeEventSourceCoordinator.lambda$start$0(ChangeEventSourceCoordinator.java:110) ~[OUC-Flink-1.0-SNAPSHOT.jar:?]

flink版本bug: 1.13.2 flink  连接器跑的时间长了会挂掉  1.14.4  修改了这个bug

flink-connector-mysql-cdc 2.0.0 bug:  可以替换版本为2.0.2

替换后发现和kafka-connector不兼容

只能升级flink版本了

Debezium报错处理系列之第116篇：Caused by: java.lang.NumberFormatException: null
zhengzaifeidelushang的博客
08-10 203
Debezium报错处理系列之第116篇：Caused by: java.lang.NumberFormatException: null
Debezium报错处理系列之六十二：Debezium2.1.4版本报错An exception occurred in the change event producer.
zhengzaifeidelushang的博客
04-23 408
Debezium报错处理系列之六十二：Debezium2.1.4版本报错An exception occurred in the change event producer.
Debezium NPE 的 bug
cainiao1412的博客
10-20 784
最终通过追踪源码，定位到是一个简单的null值判断，修复后，问题解决。
架构师成长之路：Kafka连接器深度解读之错误处理和死信队列
马小婧QAQ
09-10 1259
Kafka连接器是Kafka的一部分，是在Kafka和其它技术之间构建流式管道的一个强有力的框架。它可用于将数据从多个地方（包括数据库、消息队列和文本文件）流式注入到Kafka，以及从Kafka将数据流式传输到目标端（如文档存储、NoSQL、数据库、对象存储等）中。 现实世界并不完美，出错是难免的，因此在出错时Kafka的管道能尽可能优雅地处理是最好的。一个常见的场景是获取与特定序列化格式不匹配的主题的消息（比如预期为Avro时实际为JSON，反之亦然）。自从Kafka 2.0版本发布以来，Kafka连接
Kafka常见错误及解决办法
热门推荐
yiweiyi329的博客
09-24 4万+
1、报错信息： org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {qukan_log_v3-198=2289560518} 报错原因：当消费者消费offset大于或小于当前kafka集...
flink on yarn 问题记录1
m0_58149226的博客
08-21 4289
flink on yarn 报错处理
flink实战--flink on yarn
阿华田的博客
10-31 5892
Flink on yarn 配置 如果我们打算把flink任务提交到yarn上，那么只需要一台flink客户机即可，但是需要有如下的配置 第一步：设置HADOOP_CONF_DIR环境变量 export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc/hadooop/ 注意：如果在flink的配置文件中设置Hadoop的环境变量，......
Flink on yarn 实战和源码分析
最新发布
yelangshisan的专栏
09-25 594
其他两种模式都要在本地管理依赖资源，运行main方法然后生成JobGraph并提交到集群，不仅增加了网络传输的压力，还消耗了客户端大量的CPU资源。注意：application 方式 使用的action为 run-application，而 per-job session mode 都是 run -t。另外，应用模式支持提交多个作业，作业的顺序依赖于启动顺序。1、找到bin/flink 提交脚本中看到启动类即程序的入口是： org.apache.flink.client.cli.CliFrontend。
【大数据入门核心技术-Flink】（四）Flink安装部署-Flink On Yarn模式
08-29 409
Flink支持多种安装模式- Local—本地单机模式，学习测试时使用- Standalone—独立集群模式，Flink自带集群，开发测试环境使用- StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用- Flink On Yarn—计算资源统一由Hadoop YARN管理，生产环境使用本文主要演示Flink On Yarn模式的安装部署。
Flink on yarn程序监控自动重启脚本
好记性不如烂笔头
07-29 1552
flink on yarn 程序监控自启脚本
Debezium报错：Caused by: io.debezium.DebeziumException: 无法识别该连接器的模式
ByteHackerX的博客
08-21 807
在大数据领域中，Debezium是一个常用的开源变更数据捕获（CDC）平台，它用于捕获数据库的变更并将其转发到其他系统以进行进一步处理。然而，有时会出现某些表的模式无法被Debezium连接器识别的情况，这会导致报错并阻止数据的捕获和传输。通过正确配置连接器，我们可以顺利解决Debezium报错中的模式识别问题，确保数据的捕获和传输顺利进行。：指定要包含的数据库名称，该选项允许Debezium连接器监视特定的数据库。：指定要包含的表名称，该选项允许Debezium连接器捕获特定表的变更。
Debezium系列之：记录数据库升级对Debezium的影响
zhengzaifeidelushang的博客
07-11 729
Debezium系列之：记录数据库升级对Debezium的影响
Debezium异常：io.debezium.DebeziumException: 连接器未知的模式 大数据
CodeHeroicX的博客
08-17 867
本文将探讨一种常见的错误情况：io.debezium.DebeziumException: 连接器未知的模式 大数据，并提供相应的源代码作为解决方案。通过正确配置数据库模式、检查数据库权限、更新Debezium版本以及重新启动Debezium服务，我们可以解决这个常见的错误情况，并确保Debezium正常运行。如果配置文件中的模式是正确的，但仍然出现连接器未知的模式异常，可能是由于数据库权限问题导致的。首先，我们需要检查Debezium的配置文件，确保将正确的数据库模式配置给连接器。步骤1：检查配置文件。
解决异常com.mysql.cj.jdbc.exceptions.MySQLTransactionRollbackException: Lock wait timeout exceede
shejiataoBlog
07-08 4585
解决异常com.mysql.cj.jdbc.exceptions.MySQLTransactionRollbackException: Lock wait timeout exceede
Debezium报错处理系列四：Caused by: java.net.SocketException: Connection reset
zhengzaifeidelushang的博客
12-31 1950
Debezium报错处理系列四：Caused by: java.net.SocketException: Connection reset 一、debezium报错 Caused by: java.net.SocketException: Connection reset 完整错误如下所示： “trace”： “org.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event produ
解决Lock wait timeout exceeded; try restarting transaction问题
一条吃软饭的软狗
03-20 1万+
1 问题 mysql数据库修改某条记录的时候出现报错： org.springframework.dao.CannotAcquireLockException: ### Error updating database. Cause: java.sql.SQLException: Lock wait timeout exceeded; try restarting transaction ###...
java：一个 wait（timeout） 引出的你可能对锁的误解
z69183787的专栏
03-07 5514
在很多讲 wait（long timeout）的例子，都会用下面类似的代码： public class RunA implements Runnable { private Object lock; public RunA(Object lock) { this.lock = lock; } @Override public void r...
flink on yarn 多集群监控
04-28
除了采集和汇总监控数据之外，flink on yarn集群监控还需要注意对不同集群的日志记录和异常报告。可以通过flink配置文件里的log4j.appender.application.layout.ConversionPattern属性来分别设定不同flink集群的日志...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值