Windows下Docker搭建Flink集群

编写docker-compose.yml

参照:https://github.com/docker-flink/examples/blob/master/docker-compose.yml

version: "2.1"
services:
  jobmanager:
    image: flink:1.14.4-scala_2.11
    expose:
      - "6123"
    ports:
      - "18081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

  taskmanager:
    image: flink:1.14.4-scala_2.11
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
    scale: 2 #指定TaskManager的数量

在docker-compose.yml所有目录执行以下命令:

docker-comp
### 如何搭建Flink集群 #### 使用 Docker 搭建 Flink 集群 为了简化操作流程,可以采用 `docker-compose` 来快速构建 Flink 集群环境。通过编写合适的 `docker-compose.yml` 文件定义所需的服务组件及其依赖关系,能够实现一键启动整个集群的功能[^1]。 ```yaml version: '2' services: jobmanager: image: flink:latest ports: - "8081:8081" command: jobmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager taskmanager: image: flink:latest depends_on: - jobmanager command: taskmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager ``` 此配置文件创建了一个由 JobManager 和 TaskManager 组成的基础版 Flink 集群实例,并暴露 Web UI 端口以便于管理和监控。 #### 本地模式部署 对于开发和初步测试场景来说,在单机上以本地模式运行可能是更为便捷的选择。这仅需完成以下几个简单动作: - 下载官方提供的稳定版本二进制分发包; - 解压缩至指定目录; - 执行位于 bin 子目录下的 start-cluster.sh 脚本来激活服务进程; 上述过程完成后即成功建立起了一个简易型的伪分布式架构用于实验性质的任务提交与执行[^2]。 #### 自定义配置项调整 当涉及到生产级别的应用时,则有必要深入研究更多高级别的参数设定来优化性能表现以及满足特定业务需求。例如,针对 HA (High Availability) 场景可引入 Zookeeper 实现 Master 的选举机制,确保系统的可靠性和稳定性[^4]。 - 修改 conf/flink-conf.yaml 中的相关条目加入 zookeeper.quorum 参数指向外部已有的 ZK 实例地址列表; - 同样在此处补充 ha.storageDir 设置持久化元数据存储路径从而支持故障恢复能力。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值