Flink基础（十二）：Parallelism 和 Slot 详解

最新推荐文章于 2024-07-22 07:15:00 发布

Hello Guava

最新推荐文章于 2024-07-22 07:15:00 发布

阅读量3.4k

点赞数 5

分类专栏： Flink学习之路文章标签： flink

本文链接：https://blog.youkuaiyun.com/weixin_42155491/article/details/105332016

版权

Parallelism

parallelism 是并行的意思，在 Flink 里面代表每个算子的并行度，适当的提高并行度可以大大提高 Job 的执行效率，比如你的 Job 消费 Kafka 数据过慢，适当调大可能就消费正常了。
parallelism的设置有三个地方：

flink-conf.yaml 配置文件中
parallelism.default: 1
代码中设置全局的并行度
```
 env.setParallelism(n)
```

代码中为算子设置单独的并行度

data.keyBy(new xxxKey())
    .flatMap(new XxxFlatMapFunction()).setParallelism(5)
    .map(new XxxMapFunction).setParallelism(5)
    .addSink(new XxxSink()).setParallelism(1)

三种并行度设置的级别大小为：
算子设置并行度 > env 设置并行度 > 配置文件默认并行度。

Slot

slot是槽的意思，每个slot能执行一个并行度的任务，每个taskManager上能有多个slot；假如一个TaskManager上有4个slot，那么TaskManager为每个slot分配25%的内存，可以在一个 Slot 中运行一个或多个线程，同一 Slot 中的线程共享相同的 JVM。注意 Slot 只对内存隔离，没有对 CPU 隔离。
每个 Flink TaskManager 在集群中提供 Slot，Slot 的数