Flink 安装阿里云docker compose部署及相关组件

Flink 安装脚本文件

version: "2.2"
services:
  jobmanager:
    image: flink:1.15.2-java11
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    volumes:
      - /home:/home
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
    privileged: true

  taskmanager:
    image: flink:1.15.2-java11
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    volumes:
      - /home:/home
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
    privileged: true

Kafa 安装脚本

先创建docker 网络组 br17218

然后执行如下脚本安装

version: "2"

services:
  zookeeper1:
    image: docker.io/bitnami/zookeeper:3.8
    hostname: zookeeper1
    container_name: zookeeper1
    ports:
      - "2181:2181"
    volumes:
      - "zookeeper_data:/bitnami"
    environment:
      - ALLOW_ANONYMOUS_LOGIN=yes
    networks:
      br17218:
        i
Flink CDC 3.4.0 中,通过 `docker-compose` 部署时,通常需要依赖一些额外的 JAR 包来支持 CDC 连接器(如 MySQL CDC、PostgreSQL CDC 等)。以下是具体步骤和依赖说明: ### 1. 基础 `docker-compose.yml` 配置 以下是一个包含 Flink SQL Client 和 JobManager/TaskManager 的基础 `docker-compose.yml` 示例,其中需要挂载 JAR 包到 Flink 容器的 `plugins` 目录: ```yaml version: '3' services: jobmanager: image: flink:1.17-java11 ports: - "8081:8081" command: jobmanager volumes: - ./plugins:/opt/flink/plugins # 挂载 CDC 连接器 JAR 包 taskmanager: image: flink:1.17-java11 depends_on: - jobmanager command: taskmanager volumes: - ./plugins:/opt/flink/plugins # 挂载 CDC 连接器 JAR 包 scale: 1 sql-client: image: flink:1.17-java11 depends_on: - jobmanager volumes: - ./plugins:/opt/flink/plugins # 挂载 CDC 连接器 JAR 包 - ./sql-init:/opt/sql-init # 可选:初始化 SQL 脚本 command: bin/sql-client.sh embedded -u http://jobmanager:8081 ``` ### 2. 依赖的 JAR 包 Flink CDC 3.4.0 需要以下核心 JAR 包(需手动下载并放入 `./plugins` 目录): - **Flink CDC Connectors**: 从 [Maven 仓库](https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-mysql-cdc/) 下载对应版本的 JAR,例如: - `flink-sql-connector-mysql-cdc-3.4.0.jar`(MySQL CDC) - `flink-sql-connector-postgres-cdc-3.4.0.jar`(PostgreSQL CDC) - `flink-sql-connector-oracle-cdc-3.4.0.jar`(Oracle CDC) - **依赖的第三方库**: 某些 CDC 连接器可能需要额外的依赖(如 MySQL CDC 需要 `mysql-binlog-connector-java`),但 Flink CDC 3.4.0 的官方 JAR 通常已包含必要依赖(shaded 处理)。 ### 3. 目录结构 ``` . ├── docker-compose.yml ├── plugins/ │ ├── flink-sql-connector-mysql-cdc-3.4.0.jar │ └── flink-sql-connector-postgres-cdc-3.4.0.jar └── sql-init/ # 可选:存放初始化 SQL 脚本 └── init.sql ``` ### 4. 验证部署 启动容器后,通过 SQL Client 测试 CDC 连接: ```sql -- 示例:创建 MySQL CDC 表 CREATE TABLE mysql_source ( id INT, name STRING, PRIMARY KEY (id) NOT ENFORCED ) WITH ( 'connector' = 'mysql-cdc', 'hostname' = 'your-mysql-host', 'port' = '3306', 'username' = 'user', 'password' = 'password', 'database-name' = 'test_db', 'table-name' = 'test_table' ); ```
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值