Flink CDC Connectors在YARN环境下的部署指南

Flink CDC Connectors在YARN环境下的部署指南

flink-cdc 项目地址: https://gitcode.com/gh_mirrors/fl/flink-cdc

概述

本文将详细介绍如何在YARN环境下部署和使用Flink CDC Connectors项目。YARN作为Hadoop生态中的核心资源调度系统，能够为Flink提供稳定可靠的资源管理能力。通过本文，您将了解如何在YARN环境下以Session模式和应用模式运行Flink CDC任务。

环境准备

在开始部署前，需要确保以下环境条件已满足：

1. YARN集群：需要准备一个正常运行的YARN集群（建议版本2.10.2及以上）。可以使用云服务商提供的托管服务，如Amazon EMR或Google Cloud DataProc。

2. Flink发行版：下载并解压最新版本的Flink发行包。

3. 环境变量配置：

   export HADOOP_CLASSPATH=`hadoop classpath`
   

   这条命令确保Flink能够正确访问Hadoop的类路径。

4. Flink CDC组件：下载Flink CDC的tar包并解压，其中包含bin、lib、log和conf四个目录。

Session模式部署

启动Flink YARN Session

1. 执行以下命令启动一个分离模式的YARN Session：

   ./bin/yarn-session.sh --detached
   

2. 停止Session时使用：

   echo "stop" | ./bin/yarn-session.sh -id application_XXXXX_XXX
   

配置Flink CDC

1. 修改flink-conf.yaml文件，添加以下配置：

   rest.bind-port: {{REST_PORT}}
   rest.address: {{NODE_IP}}
   execution.target: yarn-session
   yarn.application.id: {{YARN_APPLICATION_ID}}
   

   替换其中的占位符为实际值。

2. 将所需的CDC连接器jar包放入lib目录。

提交CDC任务

准备一个YAML配置文件，例如mysql-to-doris.yaml，配置源数据库和目标数据库的连接信息。然后使用以下命令提交任务：

./bin/flink-cdc.sh mysql-to-doris.yaml

成功提交后，可以在Flink Web UI中看到运行中的任务。

应用模式部署

应用模式是推荐的生产环境部署方式，它提供了更灵活的资源管理能力。

提交任务

1. 基本提交方式：

   ./bin/flink-cdc.sh -t yarn-application -Dexecution.checkpointing.interval=2min mysql-to-doris.yaml
   

2. 从Savepoint恢复：

   ./bin/flink-cdc.sh -t yarn-application -s hdfs:///flink/savepoint-1537 -Dexecution.checkpointing.interval=2min mysql-to-doris.yaml
   

成功提交后，可以在YARN Web UI中查看应用状态。

最佳实践建议

1. 资源配置：根据数据量和处理需求合理设置并行度和内存配置。

2. 检查点配置：对于关键业务数据，建议配置适当的检查点间隔和超时时间。

3. 监控告警：集成Flink的监控指标到现有监控系统，设置适当的告警阈值。

4. 版本管理：保持Flink和CDC连接器版本的一致性，避免兼容性问题。

通过本文的指导，您应该能够在YARN环境下顺利部署和运行Flink CDC Connectors，实现数据的实时同步和变更捕获。

flink-cdc 项目地址: https://gitcode.com/gh_mirrors/fl/flink-cdc