02- Flink 部署、运行架构

本文介绍了Flink的部署方式,重点讲解了standalone单机部署的步骤,并展示了JobManager、TaskManager、ResourceManager和Dispatcher四大组件的角色及作业提交流程。此外,还探讨了任务调度原理,包括Slot、并行度与TaskManager的关系,以及数据流图和执行图的转换。

1. Flink 部署

       Flink有多种部署方案:standalone 方式、yarn模式,k8s部署。

       由于环境限制,这里只展示 standalone 单机部署方案。

       首先下载最新版,然后进行解压。
在这里插入图片描述

在这里插入图片描述
       解压后,目录如下所示:
在这里插入图片描述

  • bin:存放启动 flink 的脚本
  • conf:存放 flink 配置文件
  • example:存放flink的使用示例
  • lib:存放flink依赖的jar
  • log:存放flink的日志文件
  • opt: 第三⽅备⽤依赖
  • plugins:存放编译好的数据同步以依赖

       通过start-cluster.sh启动 flink
在这里插入图片描述
       flink默认占用本机的 8081 端口,可以在配置文件中更改端口。

       通过浏览器打开,可以看到如下主页。
在这里插入图片描述

       向Flink 提交一个Word Count任务,可以通过Flink的主页提交,也可以通过命令进行提交。

在这里插入图片描述

       我们通过如下命令,提交flink提供的示例。

       ./bin/flink run examples/streaming/WordCount.jar

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值