flinksql sink to sr often fail because of nullpoint

解决FlinkSQLtoStarRocksSink的NullpointException问题
原创 已于 2023-08-09 14:20:20 修改 · 614 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #starrocks #flink-connector

于 2023-08-09 14:07:50 首次发布
文章讲述了在将FlinkSQL数据流写入StarRocks时遇到的NullpointException问题，通过升级flink-connector-starrocks版本至1.2.7并重新编译解决。

flinksql or DS sink to starrocks often fail because of nullpoint

flink sql 和 flink ds sink starrocks 经常报NullpointException

  • 使用flink-starrocks-connector 版本: flink-connector-starrocks-1.2.6_flink-1.15.jar

在这里插入图片描述

翻阅StarRocksSink 源码 DefaultStreamLoader 类
在这里插入图片描述
解决方案： 到github 上查询目前最新的版本中对该bug 修复 下载源码查看 DefaultStreamLoader 类
在这里插入图片描述

在这里插入图片描述

重新下载源码到本地 打包后 打包后的 flink-starrocks-connector 版本: flink-connector-starrocks-1.2.7_flink-1.15.jar

重新编译代码 并上传到flink 集群 验证，有效

【kafka】flink kafka NullPointerException Timeout position partition could be determined
九师兄
03-19 1598
1.概述 某环境，flink读取kafka 突然运行的时候不断重启，查看日志，发现日志报错如下，看起来像是kafka topic的一个分区有问题，然后空指针异常导致服务挂掉。 2021-03-19 11:11:34,537 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Source: kafkaSource -> map progress -> 某节点 -> 某节点 -> (Sink: xx
Flink流计算中double类型NullPointException
learnworm的专栏
05-22 907
Flink计算中Double类型数据如何Filter过滤，使用窗口算子函数报NullPointException空指针异常，'NaN'值过滤问题
Flink 1.12.0 java.lang.NullPointerException: buffer at org.apache.flink.core.memory.MemorySegment
无名的博客
12-23 620
Flink 1.12.0 java.lang.NullPointerException: buffer at org.apache.flink.core.memory.MemorySegment.<init> Flink 1.12.0 版本，当你使用Temporal Table Join ORC格式的Hive维度表时出现如下异常 java.lang.NullPointerException: buffer at org.apache.flink.core.memory.MemorySegmen
【Flink异常】java.lang.NullPointerException：at org.apache.flink.streaming.runtime.tasks.OperatorChain$Co
search-lemon的博客
11-16 5414
文章目录1. 异常详情2. 原因及解决办法 1. 异常详情 java.lang.NullPointerException at org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.pushToOperator(OperatorChain.java:577) at org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChaini
Flink 问题记录
热门推荐
文报的博客
10-31 1万+
1.集群突然宕机 找到Master节点的日志 vi 打开 Shift + g 跳到文件最后一行 Shift + n 查询任务名称找到对应的id 进入hdfs hadoop fs -ls /flink-checkpoints | grep 任务ID 找到id对应的checkPoint目录 进入目录 获取/flink-checkpoints/a1cb4cadb79c74ac8d3c7a11b6...
flink SQL实现mysql source sink
core815的专栏
12-17 986
flink SQL实现mysql source sink
flink mongodb sink自定义开发(支持flink sql)
xiaohu21的博客
01-31 4232
flink mongodb sink自定义开发 1. 背景 目前官方关于自定义sink source资料较少，示例代码少，幸好github有一个clickhouse的自定义sink可以借鉴 https://github.com/gmmstrive/flink-connector-clickhouse 2. 步骤 1. 环境 jdk8 idea 2020 scala 2.11 2. pom 以下是自定义connector开发时可以参考的pom文件 <packaging>jar</
flink之Sink to MySQL和Redis
zly03的博客
08-20 1657
这里就展示了两种写入Sink的方式，其他方式如果需要使用我们可以去查询官方文档，文档都有会有一个demo，大家可以根据demo改成自己需要的就可以sink出去了。
flinksql自定义mysql sink
qq_43662627的博客
10-05 956
因为我接下去想尝试搭建基于docker的mysql集群，因此连接的docker版本的mysql，出了几个小问题，一个是关闭ssl认证，一个修改mavn版本提升到8.0.11 否则会报caching_sha2_password 的错误 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId>
Flink流批一体计算（23）：Flink SQL之多流kafka写入多个mysql sink
victory0508的专栏
12-05 2366
WITH提供了一种编写辅助语句以用于更大的查询的方法。这些语句通常被称为公共表表达式（CTE），可以被视为定义仅针对一个查询存在的临时视图。json.fail-on-missing-field：在json缺失字段时是否报错。json.ignore-parse-errors：在解析json失败时是否报错。一般无法保证json格式，所以以上两个配置是比较重要的。注意：针对双流中的每条记录都发触发。mysql 建表语句。
Flink类型导致的异常：java.lang.NullPointerException
xiaozhaoshigedasb的博客
05-23 5351
代码提交到yarn上后，一直报这个错，但是数据好像没丢，或者丢的少， 没看出来。。 一开始分析的是业务逻辑中匹配的时候，会有一些类型的问题，但是全部排查了一遍，貌似没有，更何况下边这个异常里面并没有指出代码中的哪一行类型异常。。所以就怀疑是不是kafka中的数据进来的时候就有空字段。。 今天无意中翻了一眼官网，他说： Scala Case Class（包括Scala元组）：最多22个字段，不支持空...
flink任务提交失败NULL指针异常
qq_34804047的博客
09-03 1513
现象： 原因： flink返回的元组类型不允许为null 解决： 使用空元组替代null
Flink-04-Flink自定义Source
TRX的博客
04-01 1623
1、实现并行度为1 的自定义Source 实现SourceFunction接口–一定要指定数据类型 package com.test.streaming.customSource; import org.apache.flink.streaming.api.functions.source.SourceFunction; /** * @Author:renxin.tang * @Des...
Flink学习笔记
TRX的博客
04-02 302
Flink-01-flink基本原理及应用场景分析 Flink-02-flink技术架构及工作原理 Flink-03-【入门程序】WordCount的流处理和批处理 Flink-04-Flink自定义Source Flink-05-DataStream API 之 Transformations Flink-06-DataStream API 之 sink–Redis实现 Flink-07-Bro...
【Flink】-- Flink SQL JOIN 完整指南：从入门到精通
欢迎来到我的博客，一起探索代码里的世界！
12-05 49
Flink SQL 流式 JOIN 实践指南 摘要：本文详细介绍了 Flink SQL 中 5 种流式 JOIN 类型的特点与适用场景。RegularJoin 通用但需设置状态 TTL；IntervalJoin 适合时间窗口关联但仅支持 Append-only 流；TemporalJoin 用于版本表关联；LookupJoin 查询外部系统；LateralJoin 调用表值函数。最佳实践包括：根据业务选择 JOIN 类型、合理设置状态 TTL、优化 JOIN 顺序（低频表在前）、监控状态大小。关键要点：Ch
java 实现 flink 读 kafka 写 paimon
luohualiushui1的专栏
12-03 449
java 实现 flink 读 kafka 写 paimon
flink的增量聚合函数
2301_80954266的博客
12-06 668
好的，我们来探讨一下 Flink 的。在 Apache Flink 流处理中，处理无界数据流时，经常需要在上执行聚合操作（如求和、求最大值、求最小值、求平均值等）。全量聚合函数（如）在处理窗口数据时，需要收集窗口内的所有元素，然后在窗口触发时一次性进行计算。而（如。
Flink SQL 窗口表值函数TUMBLE / HOP / CUMULATE / SESSION
最新发布
hello.reader
12-06 678
从基础TUMBLE到高级HOP/CUMULATE 本文系统介绍Flink的四种窗口TVF函数，通过可视化图示和SQL示例解析其核心原理与使用场景。文章首先通过一张多层重叠窗口图形象展示HOP/CUMULATE窗口的重叠特性，随后详细说明Windowing TVF的统一数据模型，重点分析TUMBLE(固定窗口)、HOP(滑动窗口)和CUMULATE(累积窗口)三种窗口类型。每种窗口都配有完整SQL语法说明和实际应用示例，特别是通过时间轴图示直观呈现窗口重叠现象，帮助读者理解"
flink任务的UI提交方式
2301_80954266的博客
12-03 540
好的，Flink 任务可以通过其内置的 Web UI 进行提交和管理。
flinksql 自定义sink
04-28
FlinkSQL 是 Flink 中提供的一种 SQL 执行方式，它可以让用户使用 SQL 语句进行流式数据处理。在 FlinkSQL 中，自定义 Sink 可以用于将处理结果输出到外部存储介质，如 MySQL、ES 等。 首先，在自定义 Sink 之前，需要先定义一个类，继承 Flink 的 RichSinkFunction 接口。该接口包含 open、invoke 和 close 三个方法，分别用于 Sink 的初始化、数据输出和资源释放。自定义 Sink 类应该重写 invoke 方法，用于输出数据。 接下来，在 FlinkSQL 中，使用 CREATE TABLE 定义表时，可以指定表的输出方式为自定义 Sink。例如，定义一个输出流，并将结果输出到 MySQL 中，可以按以下方式定义表： ``` CREATE TABLE result ( word VARCHAR, count BIGINT ) WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://localhost:3306/test', 'table-name' = 'result', 'username' = 'root', 'password' = 'root', 'sink.buffer-flush.max-rows' = '500', 'sink.buffer-flush.interval' = '2s', 'sink.max-retries' = '5' ) ``` 上述代码中，定义了一个名为 result 的表，其中 word 和 count 字段分别表示统计结果中的单词和出现次数。通过 WITH 关键字，在该表中定义了一个自定义 Sink，并指定了输出的目标地址为本地的 MySQL 数据库，配置了一些参数，如输出缓存刷写的条数、刷写的时间间隔以及重试次数等。 以上是 FlinkSQL 自定义 Sink 的简单介绍，通过自定义 Sink，在 FlinkSQL 中可以很方便地将处理结果输出到外部存储介质。同时，需要根据需求对自定义 Sink 进行优化，尽可能提高数据输出的效率和稳定性。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值