超级会员免费看
博客讲述了在使用Flink SQL处理数据时遇到的一个错误：'hash'分布模式下，分区字段'1000: ymd_bucket: bucket32'未包含在等价字段中。该问题出现在Flink读取Kafka topic并插入Iceberg表的场景。原因是Iceberg要求分区字段必须来源于主键。
报错信息：java.lang.IllegalStateException: In ‘hash’ distribution mode with equality fields set, partition field ‘1000: ymd_bucket: bucket32’ should be included in equality fields: ‘[distinct_id, tip_page_id, rwk]’
场景
flinksql 读取topic 插入iceberg
原因
iceberg的分区字段 必须从 主键中选择
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
