Airflow学习之路五 Airflow性能优化(airflow.cfg配置)

最新推荐文章于 2025-03-17 15:05:16 发布

取啥名字好�

最新推荐文章于 2025-03-17 15:05:16 发布

阅读量1.8k

点赞数

分类专栏：工作流调度平台文章标签：大数据

本文链接：https://blog.youkuaiyun.com/student_thon/article/details/114528497

版权

本文深入探讨了Airflow的性能优化，通过分析其配置文件`airflow.cfg`的[core], [logging], [webserver], [celery]和[scheduler]等关键部分，提供了提升Airflow效率的策略。" 106168465,5530321,Django2.1 2.2 共享Response对象引发内存泄露问题及解决方案,"['Django', 'Python', '内存管理', 'Web开发', '框架问题']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Airflow2.0版本

- [core]
- [logging]
- [webserver]
- [celery]
- [scheduler]

[core]

# dags存放路径
dags_folder = /home/xxx/airflow/dags
# 获取服务器IP的方式
hostname_callable = socket.getfqdn
# 时区，可以是UTC(默认)，也可以换成国内Asia/Shanghai
default_timezone = utc
# airflow支持并行性的工作器，有`SequentialExecutor`(默认，顺序执行), `LocalExecutor`(本地执行), `CeleryExecutor`(远程执行), `DaskExecutor`
executor = SequentialExecutor
# 数据库连接设置
sql_alchemy_conn