IcebergBug：The equality field day should be NOT NULL & # Caused by: org.apache.flink.table.api.Vali

已于 2024-01-15 10:50:45 修改
阅读量461 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据 sql
于 2023-11-07 14:50:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Direction_Wind/article/details/134267267
在使用Flink进行大数据处理时，遇到建表错误，提示主键字段'day'应为NOT NULL。解决方案是在定义'day'字段时明确指定为非空，例如'day int not null'，确保主键符合非空约束。

The equality field day should be NOT NULL

建表时报错，原因是 作为分区字段的day，应该是not null 属性，在 day int, 后面加上 day int not null 就可以了

Caused by: org.apache.flink.table.api.ValidationException: Could not create a PRIMARY KEY ‘4f761948-fb81-4c24-bf18-140dcbb08588’. Column ‘day’ is nullable.

原因是 sink表 主键为not null属性，在写入任务中没有对主键day做非空处理

Flinksql bug : Temporal table join requires an equality condition on fields of table
Direction_Wind的博客
12-05 1642
不支持 已经是int的类型 再次cast(int类型字段 as int) 与 cast(string类型字段 as int) 做关联 必须 string类型字段 = cast(int类型字段 as string) 这么做。如果关联条件都是字符串，内容是数字，两测都强制类型转换，cast（feild as bigint） 会报错。很奇怪 做了强制类型转换反而报错了。关联条件必须等值关联 也就是必须是等号，并且 关联条件两边要确定数据类型相同。
flink sql 维表join报错 Temporal table join requires an equality condition on fields of table
yy的博客
11-22 942
新建视图 或者 新增字段 来cast类型为一致,都不行.应该修改/修正原表DDL.
【Flink异常】Caused by: org.apache.flink.table.api.ValidationException: Could not find any factories
热门推荐
search-lemon的博客
11-04 2万+
文章目录1. 异常详情2. 原因3. 解决办法 1. 异常详情 Exception in thread "main" org.apache.flink.table.api.ValidationException: Could not find any factories that implement 'org.apache.flink.table.factories.FileSystemFormatFactory' in the classpath. at org.apache.flink.table.f
使用Spark写入Hive时，报错Cannot write nullable values to non-null column ***
Xuejiujiu的博客
09-29 1231
Cannot write nullable values to non-null column *** spark写入hive时报错无法写入空值
ClickHouse 错误Received from localhost:9000. DB::Exception: Cannot convert NULL value to non-Nullable
80后大叔爱学习
05-04 6276
常见转换错误
iceberg读写常见报错
yiweiyi329的博客
12-20 2621
flink写iceberg报错 场景：flink sink iceberg时，使用equalityFieldColumns指定字段时，报错如下： java.lang.IllegalArgumentException: Cannot write delete files in a v1 table at org.apache.iceberg.ManifestFiles.writeDeleteManifest(ManifestFiles.java:154) at org.apache.iceberg.Sna
Iceberg写入过程
不甚了然的博客
04-09 2274
Iceberg的写入数据流程
Caused by: org.apache.flink.table.api.ValidationException: Invalid join condition: equals(PBI_NAME, BASE_PBI_NAME). At least one equi-join predicate is required.
最新发布
11-18
I recall that in Flink Table API, the join condition must be structured in a very specific way - it can't be a simple logical expression. The user might be using the wrong syntax for defining the ...
Flink 问题记录
文报的博客
10-31 1万+
1.集群突然宕机 找到Master节点的日志 vi 打开 Shift + g 跳到文件最后一行 Shift + n 查询任务名称找到对应的id 进入hdfs hadoop fs -ls /flink-checkpoints | grep 任务ID 找到id对应的checkPoint目录 进入目录 获取/flink-checkpoints/a1cb4cadb79c74ac8d3c7a11b6...
spark-sql 写入paimon主键表报错 Cannot write nullable values to non-null column
yy的博客
08-27 525
写入paimon 会从语法上检测主键字段是否非空,如果函数或者字段可能为空,则报错如上。借助nvl 返回值非空的逻辑规避。
clickhouse中Nullable与非空字段的建表与类型互转
Sojer的读书笔记
03-03 2万+
--2020.3.3 有些表随着业务发展会涉及到增加字段 1、历史数据字段容许为空 2、历史数据字段补全 3、兼容性转换 drop table default.tttt CREATE TABLE default.tttt( id String, name String ) ENGINE = MergeTree PARTITION BY id ORDER BY id SETTINGS index_...
Iceberg源码学习：flink写iceberg流程
yiweiyi329的博客
12-13 4975
这里写自定义目录标题开始实例IcebergStreamWriterIcebergFilesCommitterflink task执行流程参考 开始实例 flink支持DataStream和DataStream写入iceberg StreamExecutionEnvironment env = ...; DataStream<RowData> input = ... ; Configuration hadoopConf = new Configuration(); TableLoader tab
mysql建表时未给主键设置主键自增报错：Cause: java.sql.SQLException: Field ‘id‘ doesn‘t have a default value
赚钱养家
05-24 546
mysql建表时未给主键设置主键自增。
Flink SQL实践
大头皮鞋的博客
06-07 2599
Flink SQL实践
Caused by: org.apache.flink.table.api.ValidationException: ‘scan.incremental.snapshot.chunk.key-...
weixin_44965743的博客
07-10 837
翻译过来就是：没有主键的源表同步时，需要设置参数 'scan.incremental.snapshot.chunk.key-column'利用 doris 官网的方式，用flink CDC 同步mysql整库数据至doris。，不同的库表列之间用。
iceberg报错 一：RowTime field should not be null, please convert it to a non-null long value.
weixin_43446246的博客
09-29 682
RowTime field should not be null, please convert it to a non-null long value.
Iceberg源码学习：flink写iceberg四种TaskWriter区别
yiweiyi329的博客
12-21 2099
目录开始继承关系底层调用实例与过程分析实例总结 开始 flink写iceberg时，IcebergStreamWriter的open()方法中，会调用TaskWriterFactory.create()，会创建四种类型的写（UnpartitionedDeltaWriter/UnpartitionedWriter/PartitionedDeltaWriter/RowDataPartitionedFanoutWriter），本文主要追踪这四种类型的写。 其中，IcebergStreamWriter.open()
基于Flink CDC打通数据实时入湖
数据一哥，公众号：数据社
06-04 1578
照片拍摄于2014年夏，北京王府井附近大家好，我是一哥，今天分享一篇数据实时入湖的干货文章。在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Direction_Wind

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值