Flink 部署、运行架构
1. Flink 部署
Flink有多种部署方案:standalone 方式、yarn模式,k8s部署。
由于环境限制,这里只展示 standalone 单机部署方案。
首先下载最新版,然后进行解压。


解压后,目录如下所示:

- bin:存放启动
flink的脚本 - conf:存放
flink配置文件 - example:存放
flink的使用示例 - lib:存放
flink依赖的jar - log:存放
flink的日志文件 - opt: 第三⽅备⽤依赖
- plugins:存放编译好的数据同步以依赖
通过start-cluster.sh启动 flink。

flink默认占用本机的 8081 端口,可以在配置文件中更改端口。
通过浏览器打开,可以看到如下主页。

向Flink 提交一个Word Count任务,可以通过Flink的主页提交,也可以通过命令进行提交。

我们通过如下命令,提交flink提供的示例。
./bin/flink run examples/streaming/WordCount.jar

本文介绍了Flink的部署方式,重点讲解了standalone单机部署的步骤,并展示了JobManager、TaskManager、ResourceManager和Dispatcher四大组件的角色及作业提交流程。此外,还探讨了任务调度原理,包括Slot、并行度与TaskManager的关系,以及数据流图和执行图的转换。
最低0.47元/天 解锁文章
1725

被折叠的 条评论
为什么被折叠?



