【Apache Paimon】-- Flink 消费 kafka 数据异常

于 2025-02-18 17:06:41 发布
阅读量368 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Apache Paimon 文章标签： apache flink kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/high2011/article/details/145710216

1、异常信息

025-02-12 16:52:37,232 ERROR org.apache.flink.connector.base.source.reader.fetcher.SplitFetcherManager [] - Received uncaught exception.
java.lang.RuntimeException: SplitFetcher thread 0 received unexpected exception while polling the records
	at org.apache.flink.connector.base.source.reader.fetcher.SplitFetcher.runOnce(SplitFetcher.java:168) ~[flink-connector-files-1.19.1.jar:1.19.1]
	at org.apache.flink.connector.base.source.reader.fetcher.SplitFetcher.run(SplitFetcher.java:117) [flink-connector-files-1.19.1.jar:1.19.1]
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) [?:1.8.0_432]
	at java.util.concurrent.FutureTask.run(FutureTask.java:266) [?:1.8.0_432]
	at java.util.concurrent.ThreadPoolExecutor.runWorker(Thr
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink】Discard registration from TaskExecutor SplitFetcher received unexpected exception
九师兄
03-03 3220
FLink消费kafka 一个新的 group.id ，消费一个老 topic ，服务启动的时候，遇到了这个问题。最后发现 使用这个才可以启动 ‘scan.startup.mode’ = ‘group-offsets’，无语了。worker 应该先停止了 后面才报错这个的。
【Apache Paimon】-- 4 -- Flink 消费 kafka 数据，然后写入 oss paimon表
欢迎来到我的博客，一起探索代码里的世界！
12-05 1925
注意：此案例以阿里云 OSS 作为 checkpoint 和 apache paimon 的存储介质，存储格式默认为 parquet。// Step 3、若使用 oss 作为 ckp/sep 的存储介质，需要加载 flink checkpoint 全局变量。注意：需要在项目 package 中创建包结构（org.apache.flink.fs.osshadoop）// Step 2、生成随机字符串，用于默认 checkpoint 或者 savepoint 存储路径。// Step 1、解析输入的参数。
Flink消费Kafka报错：SplitFetcher thread 0 received unexpected exception while polling the records
字节熊猫
08-28 1138
上面的信息是在flink中展示报错信息。查看Kafka服务端，又发现如下错误信息。
FlinkCDC作业处理慢追不上binlog产生的速度，导致binlog被清理的解决方案
weixin_43777152的博客
02-14 4075
Caused by: java.lang.IllegalStateException: The connector is trying to read binlog starting at Struct{version=1.6.4.Final,connector=mysql,name=mysql_binlog_source,ts_ms=1668149633760,db=,server_id=0,file=mysql-bin.003889,pos=116719908,row=0}, but this is n
Cause: java.sql.SQLException: No operations allowed after statement closed.
weixin_43777152的博客
02-08 1650
Cause: java.sql.SQLException: No operations allowed after statement closed.
解决 flink-connector-pulsar 报错This batch size is %d [X]
Kartist139的博客
03-21 497
One or more fetchers have encountered exception, flink-pulsar-connector 版本问题!!! 调整到合适的版本
【Apache Paimon】-- 16 -- 利用 paimon-flink-action 同步 kafka 数据到 hive paimon 表中
最新发布
欢迎来到我的博客，一起探索代码里的世界！
02-12 447
CDC（Change Data Capture）是一种用于捕获数据库变更的技术。它能够实时捕获数据库中的插入、更新和删除操作，并将这些变更数据传递给下游系统进行处理。
【Apache Paimon】-- 11 -- Flink 消费 kakfa 写 S3 File
欢迎来到我的博客，一起探索代码里的世界！
12-22 761
hadoopConfig.set("aws.region","你的 s3 region，比如：us-west-1");因为它对周边生态（如 Hive、Paimon、Spark等）的兼容性较好!2.2 本地测试或者 flink on k8s 时，新增 S3FileSystemFactory.java。（2）生产环境时，需要在 ${FLINK_HOME}/conf/config.yaml 中新增。第一步：创建包=org.apache.flink.fs.s3hadoop。2.1 pom.xml 新增依赖。
【Apache Paimon】-- 8 -- flink 创建 paimon connecor 的两种方式
欢迎来到我的博客，一起探索代码里的世界！
12-05 608
2、必须要配置 path、connector。临时表的元数据不持久化，无法在会话外部访问。1、只能用于创建 temporary 表。1、创建 catalog。
Flink 1.14测试cdc写入到kafka案例
Rocky
04-10 1493
Flink cdc实时数据采集
【极数系列】ClassNotFoundException: org.apache.flink.connector.base.source.reader.RecordEmitter & 详细分析解决
weixin_40736233的博客
02-03 1269
旨在帮助读者快速解决Flink在集成Kafka时出现java.lang.NoClassDefFoundError: org/apache/flink/connector/base/source/reader/RecordEmitter报错，导致项目无法启动问题
Flink CDC报The connector is trying to read binlog starting at xxx but this is no longer available问题解决
qq_41018861的博客
06-09 3766
在FlinkCDC的issues,我见到了比较多的人提了问题，官方建议mysql 侧 binlog文件日期保留长点但是，依然解决不了问题。并且对于读账号问题10s问题阿里云官方并未说明，笔者也是咨询大佬才了解到。社区有人建议试试加这个配置笔者尚未实践，之后考虑加一下试试。如果大家和笔者一样实在没有办法就选择重启吧。FlinkCDC对这个问题的优化并没有很好。
Flink cdc +doris生产遇到的问题汇总-持续更新
qq_31866793的博客
02-14 1万+
版本： Flink版本 1.13 Flink cdc版本 2.1.1 场景说明： 使用flink cdc stream api 读取mysql整库数据直接写入doris 大概100G数据量，大概几十个表，大表小表，字段多，字段少，单个字段类型复杂等等情况都包含了。 出现情况： 任务运行一段时间之后挂掉，出现问题： 2022-02-11 18:33:59,461 INFO com.ververica.cdc.connectors.mysql.source.enumerator.My.
FlinkSQLread hive IllegalArgumentException: field does not exist
WYRM
04-19 980
1、FlinkSQL读取和hive数据发生字段不存在 创建一个hive表，先插入一条数据，然后再修改表增加一个update_time字段，再用FlinkSQL查询就会报update_time, 字段不存在。 2、异常报错如下 +--------------------------------+-------------+-------------------------------+ | name | age |
Flink11_Stream_DataStream_笔记
weiguanpan3647的博客
08-04 449
DataSource 本文描述DataSourceAPI的概念和背后的架构, 如果想了解dataSource在Flink怎么工作 或者想实现一个dataSource. 1. DataSource 概念: 核心Components: Splits, the SplitEnumerator, SourceReader Split: 是一部分数据, 比如一个文件, 或者是一个log-partition. splits是原分配工作并行数据读取的粒度. SourceReader: 是用来读Splits的, 读spl
Apache Flink CDC 批流融合技术原理分析
Ververica的博客
11-09 1288
▼ 关注「Flink 中文社区」，获取更多技术干货▼摘要：本文以 Flink SQL 案例来介绍 Flink CDC 2.0 的使用，并解读CDC 中的核心设计。主要内容为：案例核心设...
Java中线程出现Exception in thread "Thread-0" java.lang.IllegalMonitorStateException异常 解决方法...
热门推荐
weixin_30814329的博客
08-31 1万+
代码 package thread; public class TestChongNeng { public static void main(String[] args) { Thread t1 = new Thread() { public void run() { while (true) {...
FlinkCDC-Hudi:Mysql数据实时入湖全攻略三：探索实现FlinkCDC mysql 主从库同步高可用
m0_66705151的博客
02-17 7198
在生产环境中，mysql一般会配备主从库，以实现数据备份、服务容灾、读写分离等需要。使用FlinkCdc进行mysql数据入湖时，就不可避免地要和主从库打交道。FlinkCDC对mysql主从库的切换支撑到什么程度、数据库需要怎么配置、同步程序要怎么配合操作和开发，是FlinkCDC投入生产应用前必验项目。 本文记录了使用FlinkCDC进行Mysql主从数据同步的主要验证过程，以为后鉴。
Flink实时仓库-ODS&DIM层实现模板代码
S1124654的博客
07-18 931
Flink实时仓库-ODS&DIM层实现模板代码
SpoolDirectorySource使用及源码分析
06-13
SpoolDirectorySource 是 Flume 框架中的一个 Source 组件，用于监控指定目录下的文件，当有新文件出现时，将文件内容读取并发送到 Flume 的 Channel 中供后续处理。 使用 SpoolDirectorySource 需要配置以下参数： - spoolDir：监控的目录路径。 - fileHeader：文件头信息。 - fileSuffix：文件后缀名。 - batchSize：每次读取文件的批量大小。 - ignorePattern：忽略的文件匹配模式。 - deserializer：文件内容的反序列化方式。 SpoolDirectorySource 的工作原理如下： - 不断轮询指定目录下的文件列表，如果有新文件出现，则将文件信息加入到待处理列表中。 - 从待处理列表中取出文件信息，读取文件内容并发送到 Channel 中。 - 处理完成后将文件信息从待处理列表中删除。 SpoolDirectorySource 的源码分析： SpoolDirectorySource 的源码位于 flume-ng-core 模块中的 org.apache.flume.source 目录下，主要类包括 SpoolDirectorySource 和 SpoolDirectoryRunnable。 SpoolDirectorySource 继承自 AbstractSource，重写了 doConfigure、doStart 和 doStop 方法，其中 doStart 方法启动了一个新的线程来监控指定目录下的文件。具体实现可参考以下代码： ```java @Override protected void doStart() throws FlumeException { logger.info("SpoolDirectorySource source starting with directory:{}", spoolDirectory); try { directory = new ReliableSpoolingFileEventReader.Builder() .spoolDirectory(spoolDirectory) .deserializer(deserializer) .checkpointDir(new File(spoolDirectory + ".checkpoint")) .ignorePattern(ignorePattern) .trackerDir(new File(spoolDirectory + ".tracker")) .annotateFileName(fileHeader) .fileNameHeader(fileHeader) .consumeOrder(consumeOrder) .bufferSize(bufferSize) .fileSuffix(fileSuffix) .build(); } catch (IOException ioe) { throw new FlumeException("Error instantiating spooling event parser", ioe); } executor = Executors.newSingleThreadExecutor(); runner = new SpoolDirectoryRunnable(directory, sourceCounter); executor.execute(runner); super.doStart(); logger.debug("SpoolDirectorySource source started"); } ``` SpoolDirectoryRunnable 实现了 Runnable 接口，实现了 SpoolDirectorySource 监控目录下文件的具体逻辑。具体实现可参考以下代码： ```java @Override public void run() { logger.debug("SpoolDirectoryRunnable starts"); while (!Thread.interrupted()) { try { List<Event> events = reader.readEvents(batchSize); if (events.isEmpty()) { continue; } sourceCounter.addToEventReceivedCount(events.size()); source.getChannelProcessor().processEventBatch(events); reader.commit(); sourceCounter.addToEventAcceptedCount(events.size()); } catch (Throwable t) { logger.error("Unable to read events from directory " + reader.getSpoolDirectory(), t); if (t instanceof Error) { throw (Error) t; } } } try { reader.close(); } catch (IOException e) { logger.error("Error while closing the directory reader", e); } } ``` 以上代码中，reader.readEvents(batchSize) 会读取 batchSize 个文件，并将文件内容转化成 Event 对象，存储在 events 列表中；source.getChannelProcessor().processEventBatch(events) 将 events 发送到 Channel 中；reader.commit() 会提交当前读取的文件，避免重复读取；sourceCounter.addToEventReceivedCount 和 sourceCounter.addToEventAcceptedCount 用于计数。 综上所述，SpoolDirectorySource 的工作原理是通过一个新的线程不断轮询指定目录下的文件，将新文件内容读取并转化成 Event 对象发送到 Channel 中，实现了 Flume 对文件的监控和实时处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值