标题：小米工程团队助力 Kestra

MartinRst

已于 2025-06-23 16:53:25 修改

阅读量831

点赞数 15

CC 4.0 BY-SA版权

文章标签： java 数据库 github python

于 2025-06-18 22:15:12 首次发布

本文链接：https://blog.youkuaiyun.com/MartinRst/article/details/148748949

Kestra专为可扩展性和高性能而构建。它允许工程团队通过声明式工作流轻松协调复杂任务，实现可靠、灵活、可监控的数据管道。

在Kestra 0.23版本中，小米工程团队作为顶级重度用户之一，凭借其在大规模生产环境中的实践经验与积极贡献，显著推动了Kestra 以下是小米如何帮助我们将推向新高度的几个方面。

小米推动调度器架构优化

来自小米的 Wei Bo 向我们的 JDBC 调度器提交了两项核心改进：

在triggers表中的next_execution_date字段上添加缺失的索引。见PR #8387
将触发执行的监控功能从主评估循环中提取出来，从而显著减少了调度器的性能开销。见PR #8741

第二项优化尤其关键。

Kestra的调度器每秒运行一次评估循环，原本这个循环除了评估定时触发器是否该执行之外，还负责检查已触发但未完成的执行情况，并记录相关日志。这种逻辑虽然必要,但在小米这种拥有成主循环的处理时间可能长达1 min, 导致触发器错过预期时间窗口.

为了解决这个瓶颈，小米团队重构了调度器架构，将监控逻辑拆分为一个独立的监控循环。分离后的主循环响应速度显著提升，小米内部测试显示性能从原来的60s 40 毫秒！

这类优化对大型部署场景至关重要.秒轮询一次数据库的触发器可能会延迟，影响数据时效性和整体稳定性。

Kestra的调度器设计。我们由衷感谢小米工程团队的深入反馈与卓越贡献！

输出合并优化：减少资源消耗

在Kestra但这种合并在早期版本中存在复制整个输出结构的问题，多CPU 和内存。

Kestra 0.23

对空输出不再执行无意义的合并；
采用更高效的增量式合并算法。

例如，一个包含 160 秒降低至 13秒，性能提升极其显著。

id: hummingbird_941521
namespace: company.team

tasks:

  - id: foreach
    type: io.kestra.plugin.core.flow.ForEach
    values: "{{range(1, 160)}}"
    concurrencyLimit: 0
    tasks:
      - id: log
        type: io.kestra.plugin.core.log.Log
        message: Some log

如将Log替换为带输出的OutputValues任务，仍可将执行时间从 44 秒压缩到 24 秒。见PR # 8914

Flowable

Kestra 中的 Flowable 任务（如条件判断、分支控制等）由 Executor Worker执行逻辑，即便它们并不需要走队列，这造成了不必要的资源消耗。

在 0.23 中，我们改变了执行策略：Executor 直接在流程上下文中记录 Flowable任务的结果,减少了延迟。

10If次时， 12 秒压缩至4 秒。见PR #8236

id: bench-flowable
namespace: company.team
inputs:
  - id: condition
    type: BOOL
    defaults: true
triggers:
  - id: webhook
    type: io.kestra.plugin.core.trigger.Webhook
    key: webhook
tasks:
  - id: if1
    type: io.kestra.plugin.core.flow.If
    condition: "{{inputs.condition}}"
    then:
    - id: hello-true-1
      type: io.kestra.plugin.core.log.Log
      message: Hello True 1
    else:
    - id: hello-false-1
      type: io.kestra.plugin.core.log.Log
      message: Hello False 1
  - id: if2
    type: io.kestra.plugin.core.flow.If
    condition: "{{inputs.condition}}"
    then:
    - id: hello-true-2
      type: io.kestra.plugin.core.log.Log
      message: Hello True 2
    else:
    - id: hello-false-2
      type: io.kestra.plugin.core.log.Log
      message: Hello False 2
...