Flink SQL入门指南：从零开始搭建流处理应用-优快云博客

1、Flink SQL简介与核心价值

1.1 什么是Flink SQL

Apache Flink SQL是基于Apache Flink构建的流批一体SQL查询引擎，它允许用户使用标准SQL语句来处理无界数据流和有界数据集。通过将SQL的声明式编程模型与Flink的强大流处理能力相结合，开发者能够以更简单、更直观的方式构建实时数据处理应用。

1.2 核心优势特性

流批统一：同一套SQL语法同时处理实时流数据和历史批数据
低延迟高吞吐：基于Flink引擎提供毫秒级延迟和每秒百万级事件处理能力
Exactly-Once保证：提供端到端的数据一致性语义
生态丰富：支持Kafka、Hive、JDBC等多种数据源和目标

2、环境搭建与配置

2.1 系统要求

Java 8或11运行环境
至少4GB可用内存
Linux/MacOS/Windows操作系统

2.2 下载与安装

# 下载Flink 1.16+版本
wget https://archive.apache.org/dist/flink/flink-1.18.1/flink-1.18.1-bin-scala_2.12.tgz
tar -xzf flink-1.18.1-bin-scala_2.12.tgz
cd flink-1.18.1

2.3 启动本地集群

# 启动单机版集群
./bin/start-cluster.sh

# 访问Web UI（默认端口8081）
# http://localhost:8081

3、第一个Flink SQL应用

3.1 创建输入数据流

首先通过SQL Client创建模拟数据源表：

CREATE TABLE user_actions (
    user_id INT,
    action_type STRING,
    action_time TIMESTAMP(3),
    WATERMARK FOR action_time AS action_time - INTERVAL '5' SECOND
) WITH (
    'connector' = 'datagen',
    'rows-per-second' = '10'
);

3.2 定义数据处理逻辑

统计每分钟各类型用户行为的数量：

CREATE TABLE action_summary (
    window_start TIMESTAMP(3),
    window_end TIMESTAMP(3),
    action_type STRING,
    action_count BIGINT
) WITH (
    'connector' = 'print'
);

INSERT INTO action_summary
SELECT
    window_start,
    window_end,
    action_type,
    COUNT(*) AS action_count
FROM TUMBLE(TABLE user_events, DESCRIPTOR(event_time), INTERVAL '10' MINUTES)
GROUP BY 
    window_start,
    window_end,
    action_type;