Airflow 集群安装

最新推荐文章于 2025-08-28 15:23:53 发布
原创 最新推荐文章于 2025-08-28 15:23:53 发布 · 1.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Airflow

1.主机规划
内网ip & 主机名 &角色 软件 & 运行进程
192.168.18.124 (master1) webserver, scheduler
192.168.18.125 (master2) webserver
192.168.18.126 worker
192.168.18.127 worker
192.168.18.128 worker
2.master1 修改airflow配置 并完成相应的airflow初始化

参考<<Airflow 调度框架 安装经验分享 单节点>>

注意这里的mysql和redis链接地址需要改为相应服务器ip的地址
# 执行步骤1-8, 
# 9,10先不要执行
3.在master1 安装master的高可用组件

                

                
                
        

    

  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
大数据调度平台Airflow（八）：Airflow分布式集群搭建及测试

				
			

			

				

					Lansonli（蓝深李）的博客
				

				

					04-02
					
					1万+
					
				

			

		

		

			
				
目录

Airflow分布式集群搭建及测试

一、节点规划

二、airflow集群搭建步骤

1、在所有节点安装python3.7

2、在所有节点上安装airflow

三、初始化Airflow

1、每台节点安装需要的python依赖包

2、在node1上初始化Airflow 数据库

四、​​​​​​​创建管理员用户信息

五、​​​​​​​配置Scheduler HA

1、下载failover组件

2、使用pip进行安装failover需要的依赖包

3、node1节点初始化failover

			
		

	



                

            
              



	

		

			

				
					
大数据调度平台Airflow（七）：Airflow分布式集群搭建原因及其他扩展

				
			

			

				

					Lansonli（蓝深李）的博客
				

				

					03-30
					
					1406
					
				

			

		

		

			
				
目录

Airflow分布式集群搭建原因及其他扩展

一、Airflow分布式集群搭建原因

二、Airflow分布式集群其他扩展

1、​​​​​​​扩展Worker节点

2、​​​​​​​扩展Master节点

3、​​​​​​​Scheduler HA



Airflow分布式集群搭建原因及其他扩展

一、Airflow分布式集群搭建原因

在稳定性要求较高的场景中，例如：金融交易系统，airflow一般采用集群、高可用方式搭建部署，airflow对应的进程分布在多个节点上运行，形成Airflow

			
		

	



              


  
              

                


	

		

			

				
					
Airflow2.2.3 + Celery + MYSQL 8构建一个健壮的分布式调度集群

				
			

			

				

					Marionxue
				

				

					01-05
					
					3592
					
				

			

		

		

			
				
云原生生态圈 · 往期推荐云原生生态圈之玩转容器系列文章云原生生态圈之运维架构专辑文章云原生生态圈之DevOps理论与实践系列文章云原生生态圈之Kubernetes理论与实践系列文章云原生...

			
		

	





	

		

			

				
					
Apache Airflow高可用集群部署与故障恢复策略

					
最新发布

				
			

			

				

					gitblog_00910的博客
				

				

					08-28
					
					838
					
				

			

		

		

			
				
Apache Airflow高可用集群部署与故障恢复策略

    
        
            【免费下载链接】airflow
            Airflow 是一款用于管理复杂数据管道的开源平台，可以自动执行任务并监控其状态。高度可定制化、易于部署、支持多种任务类型、具有良好的可视化界面。灵活的工作流调度和管理系统，支持多种任务执行引擎。适用自动化数据处理流程的管理和调度...

			
		

	



		

			
		



	

		

			

				
					
airflow cluster 集群，docker-compose.yaml安装部署，日志同步，代码同步实现

				
			

			

				

					weixin_43651674的博客
				

				

					09-10
					
					1784
					
				

			

		

		

			
				
直接安装在linux上的，基本就是新手级别的，维护都困难，跟别说迁移了docker镜像启动，参数大多写死，后期运维，基本就是他自己能看懂基于这些情况，在通过不断的官方文档阅读，终于找到了华丽而优化的集群方式，对此，也欢迎大家一起探讨此前本人已经制作过一篇关于docker-compose.yaml方式安装airflow的文章，对于具体的单机安装步骤上，我可能会进行省略，重点讲解集群中部署的重点和遇到的问题。Airflow的docker-compose.yaml安装这里本人是准备了一主二从。

			
		

	





	

		

			

				
					
Airflow2.0.0 + Celery 集群搭建

				
			

			

				

					BurukeYou
				

				

					01-10
					
					7351
					
				

			

		

		

			
				
1、说明

依赖python环境、基于pip安装apache-airflow
安装过程可能会缺少系统依赖报错如gcc、mysql-devel 之类, 缺什么就 yum install 什么即可

2、airflow + celery架构

3、集群规划





服务器hadoop100
服务器hadoop101
服务器hadoop102




web server

V



scheduler

V



worker
V
V
V


注意

编写DAG文件需要保证在集群每个节点都要同步,因为每个wo

			
		

	





	

		

			

				
					
Apache Airflow (十四) ：Airflow分布式集群搭建及测试

				
			

			

				

					qq_32020645的博客
				

				

					11-28
					
					1231
					
				

			

		

		

			
				
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

			
		

	





	

		

			

				
					
Docker安装airflow（超详细）单机，集群部署教程

				
			

			

				

					Without_1113的博客
				

				

					06-21
					
					2011
					
				

			

		

		

			
				
基于这个项目 ：git clone https://github.com/puckel/docker-airflow

上图的文件解压后如图：



### 更改配置文件vim airflow.cfg



### 文件移动

docker-airflow底下所有文件放进 /usr/local/airflow



docker的安装这里不再列出参考：https://www.runoob.com/docker/centos-docker-install.html

启动：docker-compose -..

			
		

	





	

		

			

				
					
Apache Airflow 2.5.1 最新（celery集群方式）安装

				
			

			

				

					weixin_44824330的博客
				

				

					03-03
					
					755
					
				

			

		

		

			
				
最新版本 2.5.1（ Apache Airflow celery集群安装） 教程

			
		

	





	

		

			

				
					
airflow安装与使用

				
			

			

				

					chijue8943的博客
				

				

					09-26
					
					770
					
				

			

		

		

			
				
1.安装环境 
CentOS-6.5
Python-2.7.12
setuptools-29.0.1
pip-9.0.1 
2.编译Python 
sudo yum install -y gcc
sudo yum install -y gcc-c++
sudo yum install -y w...

			
		

	





	

		

			

				
					
工作流管理框架airflow-安装部署教程

				
			

			

				

					Trisyp的博客
				

				

					01-18
					
					5460
					
				

			

		

		

			
				
Airflow是一个以编程方式编写，用于管理和调度工作流的平台。可以帮助你定义复杂的工作流程,然后在集群上执行和监控这些工作流。Airflow计划程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。Airflow的可扩展Python框架可以让你构建连接几乎任何技术的工作流程。丰富的用户界面可以随时查看生产中正在运行的管道，帮助你管理工作流程的状态，监视进度以及需要时对问题进行故障排除。

			
		

	





	

		

			

				
					
airflow分布式调度

				
			

			

				

					08-31
				

			

		

		

			
				
分布式任务调度部署，基于4台机器，采用docker部署，docker做的集群

			
		

	





	

		

			

				
					
Apache Airflow (十三) ：Airflow分布式集群搭建及使用-原因及扩展

				
			

			

				

					qq_32020645的博客
				

				

					11-22
					
					1047
					
				

			

		

		

			
				
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

			
		

	





	

		

			

				
					
airflow分布式部署

				
			

			

				

					Gzigithub的博客
				

				

					01-03
					
					5276
					
				

			

		

		

			
				
1、首先将服务器之间设置免密

现需要有A,B,C(假设IP地址为192.168.x.xxx)三台服务器，要求A,B可以同时免密登录到服务器C，服务器C作为master，另外两台作为worker

操作步骤：
1.A、B两台主机分别执行 ssh-keygen -t rsa
，然后连续按回车，直至操作完成，此时会在A、B两台主机下/root/.ssh目录下生产id_rsa和id_...

			
		

	





	

		

			

				
					
Airflow环境搭建

				
			

			

				

					weixin_63881558的博客
				

				

					03-23
					
					3647
					
				

			

		

		

			
				
Airflow环境搭建

			
		

	





	

		

			

				
					
使用Airflow在k8s集群上轻松搭建企业级工作流

				
			

			

				

					AliCloudROS的博客
				

				

					05-16
					
					1295
					
				

			

		

		

			
				
Apache Airflow 是一个开源的工作流管理平台，用于编写、调度和监控工作流（Workflows）。它最初由 Airbnb 开发，并于 2016 年捐赠给 Apache 软件基金会。Airflow 的核心理念是通过代码来定义工作流，使得工作流的管理和维护更加灵活和可扩展, github社区地址见链接。

			
		

	





	

		

			

				
					
AirFlow 安装配置

				
			

			

				

					古强俊的博客
				

				

					12-27
					
					1318
					
				

			

		

		

			
				
文章目录airflow 安装配置airflow 相关软件安装python 3.6.5 安装pip3 安装MySQL 5.7.28 安装redis 安装RabbitMQ 安装airflow 单节点部署架构图步骤airflow 多节点（集群）部署架构图多节点好处扩展 worker 节点水平扩展垂直扩展扩展 Master 节点（高可用）队列服务及元数据库(Metestore)的高可用。airflow 集...

			
		

	





	

		

			

				
					
airflow整体架构

				
			

			

				

					Ran
				

				

					10-29
					
					4518
					
				

			

		

		

			
				
run命令运行过程
读取dag文件生成task依赖关系，然后生成封装airflow run的command命令，通过celery发送到executor端，重新执行该airflow run命令。
scheduler命令运行过程：
调度器通过SchedulerJob类run方法执行整个流程，包括使用多进程处理DagDir，包括生成Dag，产生DagRun，每个DagRun下又生成多个TaskInsta...

			
		

	





	

		

			

				
					
airflow集群化部署

				
			

			

				

					02-27
				

			

		

		

			
				
### Airflow 集群化部署方案  #### 1. 架构概述 Apache Airflow 支持分布式架构，能够实现高可用性和负载均衡。典型的集群由多个组件构成：Web Server、Scheduler、...以上即完成了基本的Airflow集群构建流程描述[^4].

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
Cocktail_py

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值