
flinkSql
文章平均质量分 55
fyl005
这个作者很懒,什么都没留下…
展开
-
flinksql 中使用 处理时间时, 时区差八个小时的问题 (在 flink 1.13 以后不会在出现时区问题了)
使用事件时间进行开窗时,需要事件进行触发,比如开一个小时的窗口,在 2:15 分有数据过来,下一条数据在 3:15 分到达,那么窗口将会在 3:15 触发计算,输出 2:00 - 3:00 这个时间段内的统计数据,create_time 也是 3:15。很明显这种情况与实际不同。原创 2022-11-17 18:51:25 · 5565 阅读 · 1 评论 -
Flink SQL中的Map、Array、Row
1、kafka中样例数据。原创 2022-11-09 20:18:33 · 3981 阅读 · 1 评论 -
flink sql 报错:FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold
当出现这种错误时,原因一般是启动任务时,所给的资源不够。 可以调整 streamx 界面上的并行度、task的内存调大。 然后重启任务看下是否能行。原创 2022-06-13 17:37:38 · 1734 阅读 · 0 评论 -
flink 学习笔记
每次先大致写下,后期写的多了在去调格式一、文档学习flink 中时间语义:①、Event Time:是事件创建的时间。例如采集的日志数据中,每一条日志都会记录自己的生成时间。②、Ingestion Time:是数据进入Flink的时间。(ingestion 摄取进入)。③、Processing Time(算子执行时的时间):是每一个执行基于时间操作的算子的本地系统时间,与机器相关,默认的时间属性就是Processing Time。waterMark 水位线:waterMark 特原创 2022-05-17 20:24:53 · 654 阅读 · 0 评论 -
flinksql读取kafka数据写入ck,报错:IOException: Attempt to Flush ClickHouse executor failed
详细报错日志如下:java.io.IOException: Attempt to Flush ClickHouse executor failed, exhausted retry times = 3at org.apache.flink.connector.clickhouse.internal.AbstractClickHouseOutputFormat.attemptFlush(AbstractClickHouseOutputFormat.java:99) ~[flink-connector原创 2022-05-17 10:12:43 · 1061 阅读 · 0 评论 -
streamX 平台 采用flink sql 读取 kafka 的数据写入 hive
组件:streamX、flink 1.12、hive 2.x一、查询 flink 官网,找寻写hive 的信息。Apache Flink 1.12 Documentation: Hive信息找寻步骤:1、先找到 flink 连接外部信息的目录。 2、因为我们是要采用 flink sql 的方式,所以要看 table&sql。 3、找到 hive。 4、先看概览。在 “概览” 中,有连接 hive 的信息:...原创 2022-05-13 11:13:23 · 2155 阅读 · 1 评论 -
fink sql 读取 kafka 的数据写到 kafka
版本: flink 1.12 平台:streamX-- sourceCREATE TABLE `stg_access_its_rt_kafka` ( `message` STRING COMMENT '表数据', `table_name` STRING COMMENT '表名', `record_time` STRING COMMENT '时间yyyy-MM-dd HH:mm:ss', `ts` TIMESTAMP(3) METADATA FR..原创 2022-03-29 10:09:44 · 1751 阅读 · 0 评论 -
flink sql 使用streamx平台 从kafka读取数据写入es
版本说明:flink 1.12 es 3.61、查询 flink官网。发现有 sql 可以直接写入 es的原创 2022-03-28 20:55:41 · 2684 阅读 · 1 评论