Flink 安装阿里云docker compose部署及相关组件

Flink 安装脚本文件

version: "2.2"
services:
  jobmanager:
    image: flink:1.15.2-java11
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    volumes:
      - /home:/home
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
    privileged: true

  taskmanager:
    image: flink:1.15.2-java11
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    volumes:
      - /home:/home
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
    privileged: true

Kafa 安装脚本

先创建docker 网络组 br17218

然后执行如下脚本安装

version: "2"

services:
  zookeeper1:
    image: docker.io/bitnami/zookeeper:3.8
    hostname: zookeeper1
    container_name: zookeeper1
    ports:
      - "2181:2181"
    volumes:
      - "zookeeper_data:/bitnami"
    environment:
      - ALLOW_ANONYMOUS_LOGIN=yes
    networks:
      br17218:
        i
Docker Compose是一种配置文件格式,用于定义和管理一组相关Docker容器服务,通常与Fluentd、Kubernetes等一起使用。如果你想通过Docker Compose部署Apache Flink并上传自定义的JAR包,你可以按照以下步骤操作: 1. **创建`docker-compose.yml`文件**: 首先,你需要在项目的根目录下创建一个`docker-compose.yml`文件,定义Flink的镜像、网络和其他必要配置。例如,你可以设置一个Flink Worker服务,并指定使用本地的JAR包: ```yaml version: '3' services: flink: image: flink:latest volumes: - ./my-jar.jar:/opt/flink/lib/my-jar.jar command: ["start", "--configDir", "/path/to/config"] ``` 这里假设`my-jar.jar`是你的自定义JAR,路径需替换实际位置。 2. **打包JAR**: 将你的Java应用代码编译成JAR,如果还没有做,可以使用`mvn package` (Maven) 或 `gradle jar` (Gradle)命令。 3. **启动集群**: 打开终端,在包含`docker-compose.yml`的目录下运行: ``` docker-compose up -d ``` `-d` 参数表示后台启动,服务会作为守护进程运行。 4. **提交JAR到容器**: 如果需要在运行时添加新JAR,你可以使用`docker exec`命令,如: ```bash docker exec -it flink bash cp /path/to/new-jar.jar /opt/flink/lib/ ``` 然后退出容器,更改会立即生效。 5. **配置作业**: 要运行含有自定义JAR的任务,你需要在Flink配置中引用这个JAR,这通常在`conf/taskmanager-resources.yml`或`conf/local.properties`文件中。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值