你问得非常好：**
Flink 的
部署流程真的这么麻烦吗？能不能自己编译
Flink 1.17.2 中所需的 My
SQL CDC 和 Elasticsearch 相关的 JAR，一劳永逸地解决依赖问题？**
我们来 **直击痛点、层层拆解**。
---
## ✅ 简短回答：
> ❌ **你不应该也不需要“自己编译整个
Flink”来获取 My
SQL/ES 的 connector JAR。**
>
> ✅ 但你可以通过 **Maven 构建独立项目 + 打包 fat jar** 的方式，**一键生成包含所有所需功能（My
SQL CDC + ES Sink）的可运行作业包**，完全不需要手动找 JAR 或修改
Flink 发行版。
>
> 🚫 不推荐重新编译
Flink 发行版，因为：
>
- 它不解决根本问题
>
- 成本高、易出错
>
- 实际上也没必要
---
## 🔍 为什么“编译
Flink”不是正确方向？
### 误解澄清：
Flink 发行版 ≠ 功能集合
Apache
Flink 的官方发行版（如 `
flink-1.17.2
-bin
-scala_2.12.tgz`）是一个**通用流计算框架**，它并不内置：
- 数据源连接器（如 My
SQL CDC）
- 外部系统输出（如 Elasticsearch）
这些是 **插件式组件（connectors）**，设计上就是 **按需引入** 的。
👉 就像你不会为了用 Chrome 浏览器看视频而去重新编译 Chrome 内核一样，你也不该为了加个 My
SQL 连接器去重新编译
Flink。
---
## ✅ 正确思路：把你的同步逻辑打包成一个“自带轮子的汽车”
与其修改
Flink 引擎本身，不如写一个 **
Flink 应用程序（Job）**，然后用 Maven 把所有依赖打进去，变成一个 **可提交的 fat jar**。
这样你就实现了：
- ✅ 不用手动下载任何 JAR
- ✅ 所有依赖自动
管理
- ✅ 提交一个文件即可运行
- ✅ 可重复构建、易于维护
---
## 💡 推荐做法：使用 Maven 构建一个带完整依赖的
Flink Job 工程（适用于
Flink 1.17.2）
下面是一个最小可运行示例，支持：
- My
SQL 8.0 CDC 同步
- 写入 Elasticsearch 7.x
- 使用
Flink 1.17.2
- JDK8 兼容
---
### ✅ `pom.xml`（
Flink 1.17.2 + CDC 2.3.2 + ES7）
```xml
<?xml version="1.0" encoding="UTF
-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema
-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven
-4.0.0.xsd">
<modelVersion>4.0.0</modelModelVersion>
<groupId>com.example</groupId>
<artifactId>
flink-my
sql-to
-es</artifactId>
<version>1.0
-SNAPSHOT</version>
<packaging>jar</packaging>
<properties>
<
flink.version>1.17.2</
flink.version>
<java.version>1.8</java.version>
<maven.compiler.source>${java.version}</maven.compiler.source>
<maven.compiler.target>${java.version}</maven.compiler.target>
<project.build.sourceEncoding>UTF
-8</project.build.sourceEncoding>
</properties>
<dependencies>
<!
-- Flink Core
-->
<dependency>
<groupId>org.apache.
flink</groupId>
<artifactId>
flink-java</artifactId>
<version>${
flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.
flink</groupId>
<artifactId>
flink-streaming-java</artifactId>
<version>${
flink.version}</version>
</dependency>
<!
-- Flink Table API & Planner
-->
<dependency>
<groupId>org.apache.
flink</groupId>
<artifactId>
flink-table
-api
-java</artifactId>
<version>${
flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.
flink</groupId>
<artifactId>
flink-table
-planner
-loader</artifactId>
<version>${
flink.version}</version>
</dependency>
<!
-- My
SQL CDC Connector (Ververica)
-->
<dependency>
<groupId>com.ververica</groupId>
<artifactId>
flink-sql-connector
-my
sql-cdc</artifactId>
<version>2.3.2</version>
</dependency>
<!
-- Elasticsearch 7 Sink
-->
<dependency>
<groupId>org.apache.
flink</groupId>
<artifactId>
flink-connector
-elasticsearch7</artifactId>
<version>${
flink.version}</version>
</dependency>
<!
-- My
SQL Driver
-->
<dependency>
<groupId>my
sql</groupId>
<artifactId>my
sql-connector
-java</artifactId>
<version>8.0.33</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven
-compiler
-plugin</artifactId>
<version>3.8.1</version>
<configuration>
<source>${java.version}</source>
<target>${java.version}</target>
</configuration>
</plugin>
<!
-- Shade Plugin: 打包为 fat jar
-->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven
-shade
-plugin</artifactId>
<version>3.4.1</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META
-INF/*.SF</exclude>
<exclude>META
-INF/*.DSA</exclude>
<exclude>META
-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
<transformers>
<transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
<mainClass>com.example.
FlinkSyncJob</mainClass>
</transformer>
</transformers>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
```
---
### ✅ `src/main/java/com/example/
FlinkSyncJob.java`
```java
package com.example;
import org.apache.
flink.
streaming.api.environment.StreamExecutionEnvironment;
import org.apache.
flink.table.api.bridge.java.StreamTableEnvironment;
public class
FlinkSyncJob {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);
// 设置 checkpoint（用于 exactly
-once）
env.enableCheckpointing(5000);
// 创建 My
SQL 源表
String my
sqlSource = ""
+ "CREATE TABLE my
sql_users ("
+ " id INT PRIMARY KEY NOT ENFORCED,"
+ " name STRING,"
+ " age INT,"
+ " email STRING,"
+ " update_time TIMESTAMP(3)"
+ ") WITH ("
+ " 'connector' = 'my
sql-cdc',"
+ " 'hostname' = 'localhost',"
+ " 'port' = '3306',"
+ " 'database
-name' = 'test_db',"
+ " 'table
-name' = 'users',"
+ " 'username' = '
flinkuser',"
+ " 'password' = '
flinkpw',"
+ " 'server
-time
-zone' = 'Asia/Shanghai',"
+ " 'ssl
-mode' = 'disabled'"
+ ")";
// 创建 ES 目标表
String esSink = ""
+ "CREATE TABLE es_users ("
+ " id INT,"
+ " name STRING,"
+ " age INT,"
+ " email STRING,"
+ " update_time TIMESTAMP(3),"
+ " PRIMARY KEY (id) NOT ENFORCED"
+ ") WITH ("
+ " 'connector' = 'elasticsearch
-7',"
+ " 'hosts' = 'http://localhost:9200',"
+ " 'index' = 'users_index'"
+ ")";
tableEnv.execute
Sql(my
sqlSource);
tableEnv.execute
Sql(esSink);
tableEnv.execute
Sql("INSERT INTO es_users SELECT * FROM my
sql_users");
}
}
```
---
### ✅ 构建命令（一键生成完整 JAR）
```bash
mvn clean package
```
生成的 JAR：
```
target/
flink-my
sql-to
-es
-1.0
-SNAPSHOT.jar
```
这个 JAR 包含了：
- Flink 运行时 API
- My
SQL CDC（含 Debezium）
- Elasticsearch 7 Sink
- My
SQL JDBC Driver
✅ **全部依赖都在里面，无需额外放任何 JAR 到 `lib/` 目录！**
---
### ✅ 提交到
Flink 集群运行
```bash
# 启动集群（如果没启动）
/path/to/
flink-1.17.2/bin/start
-cluster.sh
# 提交任务
/path/to/
flink-1.17.2/bin/
flink run
-c com.example.
FlinkSyncJob ./target/
flink-my
sql-to
-es
-1.0
-SNAPSHOT.jar
```
🎉 完成！从此告别手动找 JAR 的时代。
---
## ✅ 总结：
Flink 部署到底麻不麻烦？
| 场景 | 是否麻烦 | 建议 |
|
------|
----------|
------|
| 手动下载 JAR → 放 `lib/` → 调试冲突 | ⛔ 很麻烦 | 不推荐 |
| 自己编译
Flink 发行版 | ⛔ 极其麻烦且没必要 | 绝对不要做 |
| 用 Maven 构建 fat jar 应用 | ✅ 简单高效 | 强烈推荐 ✅ |
| 使用 Docker Compose 一键环境 | ✅ 更高级方案 | 后续可考虑 |
---
## 🧩 额外建议：如何简化
Flink 部署体验？
1. **使用
Flink SQL Gateway + REST API**（未来趋势）
2. **使用 Ververica
Platform /
Flink Kubernetes Operator**（生产级）
3. **封装脚本一键
部署**（开发测试可用）
---
超级会员免费看
本文介绍了如何部署flink-streaming-platform-web并结合flink、kafka实现数据处理。详细步骤包括软件版本选择、依赖jar包配置、flink和平台的启动、系统及任务配置，以及观察运行结果和数据变化。
订阅专栏 解锁全文
扫一扫
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
