czl689的专栏

(UNIX_TIMESTAMP(regexp_replace(regexp_replace(eventTime,'T',' '),'Z',''))+8*3600)*1000TO_TIMESTAMP(FROM_UNIXTIME(cast(get_json_value(context,'$.send_time') as bigint)/1000,'yyyy-MM-dd HH:mm:ss'),'yyyy-MM-dd HH:mm:ss')

env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);setStreamTimeCharacteristic 1.12版本已经是标记弃用了

我们经常需要在一个时间窗口维度上对数据进行聚合，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。本文将介绍如何在Flink上进行窗口的计算。一个Flink窗口应用的大致骨架结构如下所示：// Keyed Windowstream .keyBy(...) <- 按照一个Key进行分组 .window(...) &

Flink Table 和 SQL内置了很多SQL中支持的函数；如果有无法满足的需要，则可以实现用户自定义的函数（UDF）来解决。1 系统内置函数Flink Table API 和 SQL为用户提供了一组用于数据转换的内置函数。SQL中支持的很多函数，Table API和SQL都已经做了实现，其它还在快速开发扩展中。以下是一些典型函数的举例，全部的内置函数，可以参考官网介绍。比较函数SQL：value1 = value2value1 > value2Table API：

【翻译】Flink Table Api & SQL — 内置函数本文翻译自官网：Built-In FunctionsApache Flink 1.9 Documentation: Built-In FunctionsFlink Table Api & SQL 翻译目录Flink Table API和SQL为用户提供了一组用于数据转换的内置函数。此页面简要概述了它们。如果尚不支持所需的功能，则可以实现用户定义的功能。如果您认为该功能足够通用，请为此打开Jira问题，并提供详细说..

flink如何正确分流分流方式filter分流 split分流 (只能一次分流，分流后的流不能继续分流) side output分流 (推荐使用)场景flink-分流场景.png输入数据：{"key":"001","type":"1","data":"data1"}{"key":"001","type":"11","data":"data11"}{"key...

假设存在这样一种场景，需要实时对运行在我们集群上的程序进行日志监控。但是程序的监控规则经常变更。这个时候就需要我们在处理各程序日志数据的时候要实时和当前程序的监控规则进行匹配判断，而且监控规则的变更要实时的被我们处理逻辑感知到。这个时候就可以使用广播状态，将程序的日志数据看做是一个流ActionStream，监控规则数据也看做是一个流RuleStream，将RuleStream流中数据下发到A...

参考这篇文章：https://www.sohu.com/a/196257023_470008我们当时的目标就是要设计一款低延迟、exactly once、流和批统一的，能够支撑足够大体量的复杂计算的引擎。Spark streaming 的本质还是一款基于 microbatch 计算的引擎。这种引擎一个天生的缺点就是每个 microbatch 的调度开销比较大，当我们要...

Flink中的每个函数和操作符都可以是有状态的(有关详细信息，请参见使用状态)。有状态函数在单个元素/事件的处理过程中存储数据，使状态成为任何类型的更精细操作的关键构建块。为了使状态容错，Flink需要对状态进行checkpoint（检查点）。检查点允许Flink恢复流中的状态和位置，从而为应用程序提供与无故障执行相同的语义。documentation on streaming fault t...