在这里,我们列出生产就绪检查表,概述在将Flink作业投入生产环境之前应该仔细考虑的配置选项。虽然Flink社区已经尝试为每种配置提供合理的默认值,但有必要查看这个列表,以确保所选择的选项足以满足你的需求,让程序健壮的运行。
显式设置一个最大并行度值 |
为所有操作符设置uid |
选择正确的状态后端存储 |
选择合适的检查点间隔 |
配置JobManager高可用 |
显式设置一个最大并行度值
前面我们说过,并行度可以从4个级别来设置,分别是操作符级别、运行环境级别、客户端级别和系统级别,与并行度设置相关的另一个概念就是最大并行度。
在每个作业和每个操作符的粒度上设置最大并行度,决定了有状态操作符可以扩展到的最大并行度。目前没有办法在作业启动后改变操作符的最大并行度,而不丢弃操作符的状态。与允许有状态操作无限扩展相比,存在最大并行度的原因是它对应用程序的性能和状态大小有一定的影响。Flink需要维护特定的元数据,以支持状态的缩放,这种缩放会随着并行度的增加而线性增长。一般来说,你应该选择足够高的最大并行度,以满足未来在可伸缩性方面的需求,同时保持足够低的最大并行度,以保持合理的性能。</