flink 并行度。

1. 可以在4个地方设置

环境,

客户端

job

操作后面。

优先级 自下而上

2.最大并行度。可以在Job操作两个地方

默认的最大并行度等于将 operatorParallelism + (operatorParallelism / 2) 值四舍五入到大于等于该值的一个整型值,并且这个整型值是 2 的幂次方,注意默认最大并行度下限为 128,上限为 32768

3. 特殊操作

1.不能并行度

本地 和cpu 有关的。

并行度的概念

Flink 运行时包括两类进程:
● JobManager(又称为 JobMaster):协调 Task 的分布式执行,包括调度 Task、协调创建checkpoint 以及当 job failover 时协调各个 Task checkpoint 恢复等。
● TaskManager(又称为 Worker):执行 dataflow 中的 Tasks,包括内存 buffer 的分配、Data Stream 的传递等。

slot 一个taskmanger 共享 cup 内存是分开

共享草 可以可以共享心跳和tpc  和数据集和数据结构。减少负担。


原文链接:https://blog.youkuaiyun.com/weixin_44519468/article/details/105909688

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

手把手教你学AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值