docker standalone下启动flink job无法找到resource manager

当我们通过docker在standalone下启动flink job时,按照示例(Docker | Apache Flink)能够正确启动。

但我们将配置项中的jobmanager.rpc.address换成自定义的jobmanager_xxx时,jobmanger和taskmanager启动永远报错:

org.apache.flink.runtime.jobmaster.JobMaster                 [] - Could not resolve ResourceManager address akka.tcp

尝试进入容器内部,ping & telnet均正常连接相关的tcp地址,无法理解。

尝试去除下划线,正常运行。原来问题在于当定义的地址中存在下划线时,内部处理异常,导致无法解析实际可以连接的tcp对端地址。

同时,为了保证container间的连通性,需要保证jobmanager & taskmanager处于同一network中,将jobmanager的container name配置为与jobmanager.rpc.address一样,保证taskmanager能够寻找到resource manager。

具体原因待细究。

使用docker-compose部署Flink可以简化部署过程,并且能够快速搭建一个Flink集群。以下是使用docker-compose部署Flink的步骤: 步骤一:安装DockerDocker Compose 首先要确保已经安装了DockerDocker Compose。可以在官方网站上下载并按照文档进行安装。 步骤二:创建docker-compose.yml文件 在项目的根目录下创建一个docker-compose.yml文件,并添加以下内容: version: '3' services: jobmanager: image: flink:1.12.0 command: jobmanager expose: - "8081" taskmanager: image: flink:1.12.0 command: taskmanager depends_on: - jobmanager 这里使用的是Flink的官方Docker镜像,并定义了一个jobmanager服务和一个taskmanager服务。jobmanager服务使用jobmanager命令启动,并暴露8081端口用于Web UI;taskmanager服务使用taskmanager命令启动,并依赖于jobmanager服务。 步骤三:启动Flink集群 在命令行中进入到docker-compose.yml所在的目录,然后使用以下命令启动Flink集群: docker-compose up -d 这样就会启动一个包含一个jobmanager和多个taskmanagerFlink集群。-d选项是为了在后台运行容器。 步骤四:访问Flink Web UI 在浏览器中输入http://localhost:8081,就可以访问Flink的Web UI了。在Web UI中可以查看Flink集群的状态、提交作业以及监控作业的运行情况。 通过以上步骤,我们就可以使用docker-compose快速部署一个Flink集群。使用Docker的好处是可以方便地管理和扩展集群,并且保证在不同环境下的一致性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值