【Flink】Flink 报错 Initial AbstractPagedOutputView Segment may not be null

最新推荐文章于 2024-12-23 09:53:22 发布

原创最新推荐文章于 2024-12-23 09:53:22 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

文章标签：

#FLink

2025最新-大数据-flink 专栏收录该内容

931 篇文章 ¥99.90 ¥299.90

订阅专栏

博客分析了一次在使用Flink SQL时遇到的错误：'Initial AbstractPagedOutputView Segment may not be null'。通过源码查看，发现该错误可能是由于内存不足导致的。文章提到了解决方案，即检查并配置相关内存参数以避免问题的发生。

文章目录

1.概述
2.源码分析

1.概述

写了一个FLink SQL 报错 Initial AbstractPagedOutputView Segment may not be null

写的SQL如下
在这里插入图片描述
报错信息如下

2.源码分析

根据报错找到报错的位置

 /**
     * Creates a new output view that writes initially to the given initial segment. All segments in
     * the view have to be of the given {@code segmentSize}. A header of length {

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Flink 异常：初始的 AbstractPagedOutputView 段不能为空

BugCrusher的博客

08-13

356

在 Flink 中，AbstractPagedOutputView 是用于对大型数据进行分页处理的类，其内部维护了多个段（Segment）来存储数据。“Initial AbstractPagedOutputView Segment may not be null”这个异常提示了在使用 Flink 进行输入输出过程中，AbstractPagedOutputView 的初始段不能为空。本文提供了一些可能的解决方法，包括检查输入输出代码、检查数据源以及更新 Flink 版本或库依赖。

【Flink】FLink Assigned key must not be null

九师兄

03-17

3665

1.场景1 1.1 概述 flink报错: Caused by: java.lang.NullPointerException: Assigned key must not be null! 具体如下原因 keyBy的字段不能为null M.参考 Flink运行出现Assigned key must not be null

参与评论您还未登录，请先登录后发表或查看评论

Flink CDC 5种启动模式详解：Initial、Specific Offset、Latest Offset、Earliest Offset和Timestamp

最新发布

学亮编程手记

12-23

2191

Apache Flink 的 Change Data Capture (CDC) 功能允许用户构建数据管道，以捕获和处理来自数据库的更改。当使用 CDC 连接器（如 MySQL CDC 或 PostgreSQL CDC）创建一个 Flink CDC 作业时，可以指定不同的启动模式来控制如何开始读取变更日志。每种启动模式都有其适用的场景，选择哪种取决于你的业务需求以及对数据一致性和完整性要求。而在日常操作中，如果希望最小化延迟并且只关心最新的变更，那么 Latest Offset 可能更适合。

Flink SQL 数据sink到mysql时，非空列存在null值问题

雾岛与鲸的博客

09-10

1万+

flink sql 数据sink到mysql时，非空存在null值，插入mysql报错，配置下面的参数进行解决: table.exec.sink.not-null-enforcer 对表的NOT NULL列约束强制执行不能将空值插入到表中。 Flink支持“错误”（默认）和“删除”强制行为默认情况下，当将空值写入NOT NULL列时，Flink将检查值并引发运行时异常。用户可以将行为更改为“删除”，以在不引发异常的情况下静默删除此类记录。 ......

Flink知识总结（汇总）

weixin_49165958的博客

04-20

2971

一、Flink cdc 1.简介 1.1 CDC种类 FlinkCDC，简单了解下Change Data Capture(变更数据获取)的概念：核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费 CDC的种类：主要分为基于查询和基于Binlog两种方式，区别：针对Binlog的CDC，有如下的区别分析： 1.2 FlinkCDC 版本 Flink自然也不甘示弱，FlinkCDC应运而生，通过

记一次Flink任务无限期INITIALIZING排查过程

Daphnis的博客

03-07

2902

环境：Flink-1.16.1，部署模式：Flink On YARN，现象：Flink程序能正常提交到 YARN，Job状态是 RUNNING，而 Task状态一直处于 **INITIALIZING**，排查思路有...

【Flink】Flink 报错 flink 1.12.5 启动作业报 partition not found

九师兄

12-13

1761

flink 1.12.5 启动作业报 partition not found的问题，可能是什么原因导致的启动作业就有这个问题，特别是耗费资源一百多g的大作业出现的更频繁基本每个作业都出现， flink 1.12.5 native k8s模式是不是有些算子state很大或者要load非常大的维表之类的，gc的话会无法响应下游的partition request，到达max backoff之后还连不上就会触发这个？

【Flink】Flink 提交任务报错 File does not exit /tmp/application_xxx-flink-conf.yml

九师兄

09-12

1704

Flink 升级报错这个错误可能有什么原因导致的呢？我从Hadoop2升级到Hadoop3，一切都配置完成了，发布的时候有这个问题，我是不是遗漏了什么配置？根据报错找到相应的源码这个地方为什么上面明明创建了本地配置文件，然后下面注册本地资源的时候报找不到该本地配置文件呢？这个方法不应该返回true的最终解决：仔细检查了下配置，fs.scheme用了其他位置的设置。结果判断出了是remotePath。

flink任务常见报错及解决办法

热门推荐

yiweiyi329的博客

08-06

4万+

1、flink任务无法从checkpoint启动场景一、flink任务运行过程中出现异常时（如checkpoint失败次数超过配置阈值），自动重启出现算子异常，无法恢复正常运行。场景二、手动下线任务，选择上一次的checkpoint启动时，出现算子异常，无法启动。报错如下： java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.

Flink内存管理源码解读之内存管理器

VinoYang的专栏

04-06

7718

回顾上一篇文章我们谈了Flink自主内存管理的一些基础的数据结构。那篇中主要讲了数据结构的定义，这篇我们来看看那些数据结构的使用，以及内存的管理设计。概述这篇文章我们主要探讨Flink的内存管理类MemoryManager涉及到对内存的分配、回收，以及针对预分配内存而提供的memory segment pool。还有支持跨越多个memory segment数据访问的page view。

【Flink】Flink 批处理模式Map端数据聚合 NormalizedKeySorter

九师兄

06-25

993

转载：Flink源码分析——批处理模式Map端数据聚合在flink的批处理模式下，数据的计算也有着两端的计算模型，这一点和MR、spark计算框架是类似的。，，这一过程的目的是将数据进行预聚合，减少中间的数据传输量，也减轻了reduce端数据计算的压力。在《Batch模式JobGraph的创建》中我们分析了在数据聚合的map端，数据最终会经过combiner算子处理，在batch模式下，chain在一起的算子都被封装成ChainedDriver，这个combiner算子就被封装成了SynchronousCh

Flink 流量控制及反压

METON的博客

11-03

1946

流量控制 Flink在两个Task之间建立Netty连接进行数据传输，每一个Task会分配两个缓冲池，一个用于输出数据，一个用于接收数据。当一个Task的缓冲池用尽之后，网络连接就处于阻塞状态，上游Task无法产出数据，下游Task无法接收数据，也就是我们所说的“反压”状态。这是一种非常自然的“反压”的机制，但是过程也相对比较粗暴。由于TaskManager之间的网络连接是由不同Task复用的，一旦网络处于阻塞状态，所有Task都无法向TCP连接中写入数据或者从中读取数据，即便其它Tas...

Kotlin中Fragment 控件初始化报错 XXX must not be null

星海浮沉的成长路

12-28

7660

Android Extensions在Fragment中遇到的问题在Fragment中使用Android Extensions来查找使用控件的时候遇到该控件为空的异常： java.lang.IllegalStateException: rcvOrders must not be null 该View为空的原因，是在onCreateView中查找了控件，这时候我们inflate的View还没有...

解决 java.lang.IllegalArgumentException: Repository interface must not be null on initialization!

愿我如星君如月 ... 夜夜流光相皎洁 ...

12-13

9718

报错：Caused by: java.lang.IllegalArgumentException: Repository interface must not be null on initialization! Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean wit...

大数据（9j）FlinkCDC

ArYe

12-02

1515

CDC概述 Flink-CDC flink-connector-mysql-cdc Flink-CDC代码测试开启MySQL8 Binlog FlinkSQL

FlinkCDC 2.0

asd623444055的博客

08-25

2416

通过自定义反序列化器将输出的能容进行更改确定自定义序列化器输出的内容及格式{"db":"","op":"", //操作类型}//1.获取flink 执行环境//设置并行度.databaseList("cdc_test") //指定数据库（可变形参可指定多个）// .tableList("cdc_test.user_info") //指定表名（以库名.表名的方式指定）...

Flink task故障失败恢复策略详解及对应参数、代码配置

HD0do的博客

03-20

4482

Flink任务执行过程中经常会出现由于网络或者内存等原因导致某些task失败，这时就需要我们配置对应的task故障恢复，也就是重启策略来保障某个子task失败可以自动恢复过来而不影响导致整个flink job任务失败。 Flink的故障恢复有四种方式：重启策略分为：固定延迟重启策略、故障率重启策略、无重启策略、后备重启策略；

Flink CDC

TU_JCN的博客

08-06

1332

Flink 社区开发了 flink-cdc-connectors 组件，这是一个可以直接从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。

flink initial segment may not be null

04-28

Flink是一种流式处理框架，通常用于大数据处理。在Flink中，initial segment是指开始处理流式数据的初始段，它包含要处理的数据流的一部分。Flink initial segment may not be null的错误通常出现在数据流处理的过程中，这意味着Flink无法识别输入流中的任何数据。解决此问题的方法是检查数据流中是否存在无效数据或意外的缺失。如果存在无效数据，则需要对其进行清理或删除，以确保Flink能够正确处理所有数据流。另一种解决方法是确保正确地设置Flink的参数，例如确定要处理的数据流的范围和开始处理流数据的位置。在使用Flink进行数据流处理时，还应注意其他可能导致Flink initial segment may not be null出现的因素。这可以包括网络问题，数据流中断或配置错误。在使用Flink时，需要小心处理这些问题并解决它们，以确保数据流处理能够成功进行。