airflow源码分析-启动机制-优快云博客

本文链接：https://blog.youkuaiyun.com/python_tty/article/details/79585525

本文详细介绍了Airflow这一强大的任务调度平台的启动过程。通过深入分析其核心组件webserver和scheduler的启动流程，揭示了Airflow如何实现定时任务的创建与监控。从setup.py文件到airflow/bin/airflow脚本的执行细节，为读者提供了全面的技术解读。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

airflow是一个集定时任务和监控为一体的平台，它通过运行dag来创建定时任务，功能强大，开发简单。
用过airflow的人都知道，airflow webserver -p 8000 这样webserver就启动起来了
airflow scheduler 启动scheduler，具体是怎么启动起来的呢？看一下代码就知道了
setup.py

def do_setup():
    write_version()
    setup(
        name='apache-airflow',
        description='Programmatically author, schedule and monitor data pipelines',
        license='Apache License 2.0',
        version=version,
        packages=find_packages(exclude=['tests*']),
        package_data={'': ['airflow/alembic.ini', "airflow/git_version"]},
        include_package_data=True,
        zip_safe=False,
        scripts=['airflow/bin/airflow'],

当你执行airflow命令时，实际执行的是airflow/bin/airflow这个文件

airflow/bin/airflow

if __name__ == '__main__':

    if configuration.get("core", "security") == 'kerberos':
        os.environ['KRB5CCNAME'] = configuration.get('kerberos', 'ccache')
        os.environ['KRB5_KTNAME'] = configuration.get('kerberos', 'keytab')

    parser = CLIFactory.get_parser()
    args = parser.parse_args()
    args.func(args)

CLIFactory是一个解析类，当执行airflow webserver -p 时，CLIFactory负责把接收到的参数解析了，webserver对应的是airflow/bin/cli.py中的webserver(). scheduler同理