Flink应用在生产环境上线前的注意事项

在这里,我们列出生产就绪检查表,概述在将Flink作业投入生产环境之前应该仔细考虑的配置选项。虽然Flink社区已经尝试为每种配置提供合理的默认值,但有必要查看这个列表,以确保所选择的选项足以满足你的需求,让程序健壮的运行。

显式设置一个最大并行度值
为所有操作符设置uid
选择正确的状态后端存储
选择合适的检查点间隔
配置JobManager高可用

显式设置一个最大并行度值

前面我们说过,并行度可以从4个级别来设置,分别是操作符级别、运行环境级别、客户端级别和系统级别,与并行度设置相关的另一个概念就是最大并行度。

在每个作业和每个操作符的粒度上设置最大并行度,决定了有状态操作符可以扩展到的最大并行度。目前没有办法在作业启动后改变操作符的最大并行度,而不丢弃操作符的状态。与允许有状态操作无限扩展相比,存在最大并行度的原因是它对应用程序的性能和状态大小有一定的影响。Flink需要维护特定的元数据,以支持状态的缩放,这种缩放会随着并行度的增加而线性增长。一般来说,你应该选择足够高的最大并行度,以满足未来在可伸缩性方面的需求,同时保持足够低的最大并行度,以保持合理的性能。</

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sf_www

谢谢支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值