实时计算 Flink性能调优

自动配置调优

实时计算 Flink新增自动调优功能autoconf。能够在流作业以及上下游性能达到稳定的前提下，根据您作业的历史运行状况，重新分配各算子资源和并发数，达到优化作业的目的。更多详细说明请您参阅自动配置调优。

首次智能调优

1. 创建一个作业。如何创建作业请参看快速入门。

2. 上线作业。选择智能推荐配置，指定使用CU数为系统默认，不填即可。点击下一步。

3. 数据检查，预估消耗CU数。

4. 在运维界面启动作业，根据实际业务需要指定读取数据时间。

   说明:实时计算作业启动时候需要您指定启动时间。实际上就是从源头数据存储的指定时间点开始读取数据。指定读取数据时间需要在作业启动之前。例如，设置启动时间为1小时之前。

5. 待作业稳定运行10分钟后，且以下状态符合要求，即可开始下一次性能调优。

   • 运行信息拓扑图中IN_Q不为100%。
   • 数据输入RPS符合预期。

非首次性能调优

1. 停止>下线作业。

2. 重新上线作业。选择智能推荐配置，指定使用CU数为系统默认，不填即可。点击下一步。

3. 数据检查，再次预估消耗CU数。

4. 在运维界面启动作业，待作业稳定运行十分钟后，即可再一次性能调优。

说明：

• 自动配置调优一般需要3到5次才能达到理想的调优效果。请完成首次性能调优后，重复非首次性能调优过程多次。
• 每次调优前，请确保足够的作业运行时长，建议10分钟以上。
• 指定CU数（参考值） = 实际消耗CU数*目标RPS/当前RPS。
  • 实际消耗CU数：上一次作业运行时实际消耗CU
  • 目标RPS：输入流数据的实际RPS（或QPS）
  • 当前RPS：上一次作业运行时实际的输入RPS

手动配置调优

手动配置调优可以分以下三个类型。

• 资源调优
• 作业参数调优
• 上下游参数调优

资源调优

资源调优即是对作业中的Operator的并发数（parallelism）、CPU（core）、堆内存（heap_memory）等参数进行调优。