1. 可以在4个地方设置
环境,
客户端
job
操作后面。
优先级 自下而上
2.最大并行度。可以在Job操作两个地方
默认的最大并行度等于将 operatorParallelism + (operatorParallelism / 2)
值四舍五入到大于等于该值的一个整型值,并且这个整型值是 2
的幂次方,注意默认最大并行度下限为 128
,上限为 32768
。
3. 特殊操作
1.不能并行度
本地 和cpu 有关的。
并行度的概念
Flink 运行时包括两类进程:
● JobManager(又称为 JobMaster):协调 Task 的分布式执行,包括调度 Task、协调创建checkpoint 以及当 job failover 时协调各个 Task checkpoint 恢复等。
● TaskManager(又称为 Worker):执行 dataflow 中的 Tasks,包括内存 buffer 的分配、Data Stream 的传递等。
slot 一个taskmanger 共享 cup 内存是分开
共享草 可以可以共享心跳和tpc 和数据集和数据结构。减少负担。
原文链接:https://blog.youkuaiyun.com/weixin_44519468/article/details/105909688