Flink实践代码-Watermark

Flink实战：Watermark策略与Group Window应用

原创

已于 2024-04-10 11:37:47 修改 · 1.1k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#flink #python #大数据

于 2024-04-03 19:33:36 首次发布

本文介绍了Flink中实现数据流处理的关键步骤，包括构建运行环境、接入数据流和设置WaterMark策略。核心代码展示了如何定义WaterMark策略以及Group Window聚合操作，用于按时间间隔对数据进行分组。Table API在Flink中的作用也被提及，它是批处理和流处理的统一API，支持Scala、Java和Python，并提供了与SQL类似的查询能力。

1.代码与含义解释

1.1 思路

Flink 获取数据流后，需要做数据过滤那么首先就要有一下几个步骤：

构建运行环境
接入数据流
数据加入 WaterMark

1.2 直接上代码

package com.youtree.flink;

import org.apache.flink.connector.datagen.table.DataGenConnectorOptions;
import org.apache.flink.table.api.*;

import static org.apache.flink.table.api.Expressions.$;
import static org.apache.flink.table.api.Expressions.lit;

/******************************************************
 * @program        : com.youtree.flink
 * @ClassName      : Visit_Info_for_watermark
 * @Author         : willcui
 * @Date