Airflow学习之路五 Airflow性能优化(airflow.cfg配置)

最新推荐文章于 2025-09-01 15:10:17 发布

原创

最新推荐文章于 2025-09-01 15:10:17 发布 · 1.9k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

本文深入探讨了Airflow的性能优化，通过分析其配置文件`airflow.cfg`的[core], [logging], [webserver], [celery]和[scheduler]等关键部分，提供了提升Airflow效率的策略。" 106168465,5530321,Django2.1 2.2 共享Response对象引发内存泄露问题及解决方案,"['Django', 'Python', '内存管理', 'Web开发', '框架问题']

Airflow2.0版本

- [core]
- [logging]
- [webserver]
- [celery]
- [scheduler]

[core]

# dags存放路径
dags_folder = /home/xxx/airflow/dags
# 获取服务器IP的方式
hostname_callable = socket.getfqdn
# 时区，可以是UTC(默认)，也可以换成国内Asia/Shanghai
default_timezone = utc
# airflow支持并行性的工作器，有`SequentialExecutor`(默认，顺序执行), `LocalExecutor`(本地执行), `CeleryExecutor`(远程执行), `DaskExecutor`
executor = SequentialExecutor
# 数据库连接设置
sql_alchemy_conn = sqlite: