FlinkSql bug :OVER windows‘ ordering in stream mode must be defined on a time attribute.

已于 2024-01-15 10:49:43 修改
阅读量1.4k 收藏 9
点赞数 6
文章标签： bug
于 2023-12-15 16:21:48 首次发布
本文介绍了在使用FlinkSQL处理流数据时遇到的错误：OVER窗口在流模式下必须基于时间属性定义排序。错误通常出现在row_number() over()函数中。解决方案是确保over(partition by order by)的排序字段为时间属性，如timestamp或proctime。

flinksql 报错

org.apache.flink.table.api.TableException: OVER windows’ ordering in stream mode must be defined on a time attribute.

org.apache.flink.table.api.TableException: OVER windows’ ordering in stream mode must be defined on a time attribute.

这个最常见的是row_number（）over()里
其实问题很简单，根据官网说的就是 over(partition by order by) 的这个排序字段 必须是一个时间属性 timestamp的字段 例如 proctime as PROCTIME(),

over(parttition by A order by proctime )

大数据Flink（七十七）：SQL窗口的Over Windows
Lansonli（蓝深李）的博客
09-11 577
按照时间区间聚合就是时间区间的一个滑动窗口，比如下面案例 1 小时的区间，最新输出的一条数据的 sum 聚合结果就是最近一小时数据的 amount 之和。按照行数聚合就是数据行数的一个滑动窗口，比如下面案例，最新输出的一条数据的 sum 聚合结果就是最近 5 行数据的 amount 之和。在 Hive 中也有相同的聚合，但是可以想想你在离线数仓经常使用嘛？：可以理解为是一种特殊的滑动窗口聚合函数。：计算最近一段滑动窗口的聚合结果数据。那这里我们拿 Over 聚合 与。
Notes on Implementing an OLE Control Container
tianyu的专栏 - Linux site:blog.youkuaiyun.com/wishfly
09-10 3433
Kraig Brockschmidt Microsoft Developer Relations Preliminary Version Created: September 21, 1994 Inasmuch as this is a preliminary version, mostly straight from my computer to yours, there will in
窗口函数返回值未继承时间属性报错：OVER windows‘ ordering in stream mode must be defined on a time attribute.
最新发布
主要写大数据集群一线运维和学习工作经验
03-27 1993
在 Flink SQL 中，TIMESTAMP，时间属性需要显式声明（事件时间或处理时间）才能用于窗口操作。OVERORDER BYWATERMARKPROCTIME()TIMESTAMP如果使用或生成窗口起始时间（如），但或proc_time未正确声明为时间属性，则也不会自动继承时间属性。若时间属性字段参与了计算（例如），则会被物化为普通时间戳，失去时间属性特性，导致无法用于ORDER BY。在表定义中通过WATERMARK或PROCTIME()
FlinkSQL求TopN时遇到的错误
林子茗的博客
06-15 2452
在求TopN的时候，一步一步测并打印测试结果。遇到如下问题 执行上面代码的时候，报下面的错误：org.apache.flink.table.api.TableException: The window can only be ordered in ASCENDING mode. 把desc降序删掉 又报下面的错误 org.apache.flink.table.api.TableException: OVER windows’ ordering in stream mode must be defined o
Flink SQL - OVER windows‘ ordering in stream mode must be defined on a time attribute.
这都不是事er 的博客
10-27 4511
OVER windows' ordering in stream mode must be defined on a time attribute.
window expects a time attribute for grouping in a stream environment.
微电子学与固体电子学-俞驰
12-09 2032
完整报错如下: Exception in thread "main" org.apache.flink.table.api.ValidationException: A group window expects a time attribute for grouping in a stream environment. at org.apache.flink.table.operations.utils.AggregateOperationFactory.validateStreamTimeAttri
解决Flink1.9.0源码中，SourceTable中有EventTime，执行Window报错
LS_ice的专栏
07-11 5176
文章目录一、window报错问题描述二、报错相关Flink源码分析1、StreamLogicalWindowAggregateRule的作用2、StreamLogicalWindowAggregateRule#getTimeFieldReference()方法分析3、创建TimeIndicatorRelDataType过程4、TableSourceTable#getRowType()设置字段类型三...
12C ORA-错误汇总16 ORA-40001 to ORA-40556
ugghhj的博客
11-13 980
12C ORA-错误汇总16 ORA-40001 to ORA-40556
Changelog 是一种用于跟踪软件项目更改历史的重要文档，它记录了每一次版本更新的主要变化
BLOG域名:programb.blog.youkuaiyun.com
04-24 2123
自动化生成 Changelog 可以通过结合 Git（版本控制系统）和 Bash 脚本实现，因为Git的历史记录包含了每次提交的详细信息，如作者、日期、提交消息。具体步骤可能包括设置脚本来定期运行，扫描最近的Git提交，分析提交消息中的关键词或标签，然后按照预定义的模板生成新的或更新Changelog条目。Changelog 是一种用于跟踪软件项目更改历史的重要文档，它记录了每一次版本更新的主要变化，如添加的新特性、修复的问题以及可能导致向后兼容性问题的变更。：新版本的名称或编号，如v1.2.0或1.3。
flink 1.10.1 java版本sql OverWindow示例（每事件出结果）
liaomingwu的专栏
02-15 428
flink 1.10.1 java版本sql OverWindow示例
【Flink SQL】【第四章 时间属性】
weixin_43589563的博客
01-27 1898
本章内容对应官网： https://nightlies.apache.org/flink/flink-docs-release-1.12/dev/table/streaming/time_attributes.html 1.时间属性介绍 Time attributes can be part of every table schema. They are defined when creating a table from a CREATE TABLE DDL or a DataStream. Once
关于flink中sql的over window底层个人实现及分析
杨亚双
09-26 882
1、前言 在使用flink中sql的over window函数一直在想底层是如何实现的，查看资料并没有找到相关说明，去翻源码的话没那么多时间去研究，就按照自己思路简单测试了下实现过程，时间过短，语言没有进行整理，仅供初学者参考 2、测试内容 分别对开窗函数中对行和事件时间进行分析底层实现，加强理解 3、实现过程 1、基于开始到当前行 OverWindow w = Over.partitionBy($("id")).orderBy($("ts...
Flink SQL中的窗口函数
huahuaxiaoshao的博客
07-22 9157
1 OVER窗口       OVER窗口（OVER Window）是传统数据库的标准开窗，不同于GROUP BY Window，OVER Window中的每一个元素都对应一个窗口。窗口元素是与当前元素相邻的元素集合，流数据元素分布在多个窗口中。在Flink SQL Window的实现中，每个触发计算的元素所确定的行，都是该元素所在窗口的最优一行。       在应用OVER Window
Apache Flink学习笔记四 - Flink TableAPI Over Aggregation操作碰到的问题
bhh的专栏
10-18 1374
Flink TableAPI Over Aggregation操作碰到的问题 最近在学习Flink TableAPI Over聚合操作时又碰到了奇怪的问题，在Flink1.13.2版本上，当Order By字段是TIMESTAMP_LTZ类型时，会抛错；但如果是TIMESTAMP类型时就是正常的。 测试代码如下： package com.nokia.itms.flink.sql; import java.util.Properties; import org.apache.flink.streaming
flink的分组聚合、over聚合、窗口聚合对比
oTianShangDiXia的博客
03-11 1770
对比flink的分组聚合group_agg/over聚合over_agg/窗口聚合window_agg
Flink中的Time及Windows的使用
qq_32165517的博客
08-25 901
Flink中的Time及Windows的使用 Flink中的Time类型 Event Time / Processing Time / Ingestion Time Flink supports different notions of time in streaming programs. 对于Flink里面的三种时间： 事件时间 Event time: Event time is the time that each individual event occurred on its produci
OVER windows' ordering in stream mode must be defined on a time attribute. 这个报错怎么解决
07-09
这个错误是因为在流模式下，Flink要求在OVER窗口的排序中必须使用时间属性。如果你在使用ROW_NUMBER()函数时遇到了这个错误，可以考虑以下几种解决方法： 1. 确保排序字段是时间类型：确保你在ORDER BY子句中使用的字段是时间类型的，例如event_time字段。如果你使用的是其他类型的字段，则需要将其转换为时间类型，以便满足Flink的要求。 2. 使用时间属性进行分区：根据错误信息，你还需要根据一个时间属性进行分区。你可以在PARTITION BY子句中指定一个时间类型的字段作为分区键，例如event_time字段。 3. 检查流模式设置：确保你的Flink作业配置为流模式（Stream Mode），而不是批处理模式（Batch Mode）。流模式下要求使用时间属性进行排序，而批处理模式下可以使用其他类型的字段进行排序。 如果你仍然遇到问题，请提供更多的信息，例如你的SQL查询和表结构，以便我能够更好地帮助你解决问题。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Direction_Wind

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值