Flink Mysql维表join Kafka数据流

需求： 统计每5分钟内的活跃用户数，并写入mysql，mysql数据结构如下图所示。 时间 活跃用户数 10:00 2 10:05 4 10:10 3 废话不多说，直接上sqlselect p_product, p_project, p_dt, SUBSTRING(FROM_UNIXTIME(UNIX_TIMESTAMP(p_ts)/ 300 * 300), 12, 5), count(distinct device_id)...

在实际的Flink 项目中，如何观察Flink的性能，如何监控Flink的运行状态，如何设置报警策略？下面简单讲下我的经验吧。一、Flink webUI首先聊下Flink webUI。如下图所示:如果是本地调试模式，默认是不开启webui的。StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();上面的初始化方式，本地调试默认不开启webui。StreamExe

背景:1.所有用户行为存放在kafka中。 2.用户数据存储在Mysql中，当新用户到来时，Mysql会新增一条记录。需求：实时统计新用户行为数据，并写入下游kafka。Flink 广播变量:在此示例中，第一个流将包含Item带有Color和Shape属性的type元素。另一个流将包含Rules。可以看到官方给的例子中，item流类似我们的用户行为，rules流类似于我们的mysql用户表。我们将他们分别称为数据流和广播流。在这里我们利用Canal将mysql...

Flink 1.11 引入了写Hive的功能后，已经在上线了一段时间。下面就聊聊我自己对Flink 写Hive 小文件的一些问题和看法。问题1：1.Flink 写 Hive 可能会产生小文件吗？简单的说，答案是会。简单总结下Flink 读kafka写Hive的流程1.Flink 将kafka数据根据设置的分区策略，实时写入对应分区hdfs 目录的临时文件 inprogress，如下图所示。在inprogress文件的数据，通过hive是无法查询到的。2.打checkp..

Fink 1.12 Hive维表Join