Mac airflow 开发环境搭建

Mac/Win双平台实测:避开OpenMetadata本地开发环境搭建的那些‘坑’(附完整依赖清单) 本文详细介绍了在Mac和Windows双平台上搭建OpenMetadata本地开发环境的完整流程与常见问题解决方案。通过提供必备工具清单、依赖管理优化方案、前端编译指南以及全链路调试技巧,帮助开发者高效避开搭建过程中的各种‘坑’,提升开发效率。特别针对Windows用户提供了WSL2配置建议和前端编译优化方案。 阅读详情

在 macOS 上搭建 Apache Airflow 开发环境可以通过以下步骤完成。我们将使用 pip 来安装 Airflow,并设置一个简单的开发环境。

1. 安装依赖

确保已经安装了 Homebrew 和 Python 3。如果尚未安装,可以通过以下命令进行安装:

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
brew install python

2. 创建虚拟环境

使用 venv 创建一个新的虚拟环境:

python3 -m venv airflow_venv
source airflow_venv/bin/activate

3. 设置 Airflow

3.1. 安装 Apache Airflow

Airflow 的安装比较特殊,因为它需要特定的版本和依赖。可以使用以下命令安装 Airflow:

# 设置 Airflow 的版本和其他选项
export AIRFLOW_VERSION=2.7.2
export PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)"
export CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-3.8.txt"

# 安装 Airflow
pip install "apache-airflow==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}"

请根据需要调整 AIRFLOW_VERSION 变量的值。

3.2. 初始化数据库

Airflow 支持多种数据库,默认使用 SQLite。可以运行以下命令来初始化数据库:

airflow db init

4. 创建用户

在 Airflow 2.x 中,需要创建一个用户来进行 Web 界面的访问:

airflow users create \
    --username admin \
    --password admin \
    --firstname Admin \
    --lastname User \
    --role Admin \
    --email admin@example.com

5. 启动 Airflow

5.1. 启动 Web 服务器

运行以下命令启动 Airflow 的 web 服务器:

airflow webserver --port 8080
5.2. 启动调度器

在另一个终端窗口中(确保仍然在虚拟环境中),运行调度器:

airflow scheduler

6. 访问 Airflow Web 界面

打开浏览器,访问 http://localhost:8080 ,使用在创建用户时设置的用户名和密码登录。

7. 创建示例 DAG

可以在 dags 目录中创建的 DAG 文件。例如,创建一个简单的 DAG 文件 example_dag.py :

# airflow/dags/example_dag.py

from airflow import DAG
from airflow.operators.dummy import DummyOperator
from datetime import datetime

default_args = {
    'owner': 'airflow',
    'start_date': datetime(2023, 1, 1),
}

with DAG('example_dag', default_args=default_args, schedule_interval='@daily') as dag:
    start = DummyOperator(task_id='start')
    end = DummyOperator(task_id='end')

    start >> end

将该文件放在 Airflow 的 dags 目录中,通常位于 ~/airflow/dags 。

8. 验证 DAG

在 Airflow Web 界面中,应该能够看到新创建的 DAG,并可以手动触发它。

mac2019环境 Airflow+hive+spark+hadoop本地环境安装 本地安装可分为两个部分,mac软件环境, python开发环境ps: 安装过程参考chatgpt、csdn文章。 阅读详情

相关推荐

airflow使用mysql的相关配置 (mac10.15 mysql5.7 )

Taskflow API 文档 官网文档

weixin_42752585的博客 1513

Mac/Win双平台实测:OpenMetadata 1.2.2本地开发环境搭建全流程与避坑指南

本文详细解析了在Mac和Windows双平台下搭建OpenMetadata 1.2.2本地开发环境的全流程,包括工具链选择、容器化部署差异处理以及Windows前端编译的三大解决方案。特别针对常见问题提供了避坑指南,帮助开发者高效完成环境配置,提升开发效率。

weixin_30607659的博客 313

airflow安装过程各种报错解决办法

在mac(10.14.3 ) +python3.6.5上安装airflow(注意不要用3.7,airflow initdb时会引入tenacity的包(from tenacity.async import AsyncRetrying)async在python3.7版本被加入了关键字,导致airflow无法在python3.7运行,https://github.com/jd/tenacity/iss...

入眸幻灭的博客 3873

mac下安装airflow

注意:airflow默认走配置文件的sqllite数据库,后面为了以后维护方便,我们再改成MySQL数据库。在上面的操作步骤上可以看到airflow的安装路径,我的是/Users/wuzhanxi/airflow。查看进程开始我用的下面的这个命令,发现打印出来一堆东西,很不好看,所以后面又搜了其他的方式。这样这些基本配置信息都存入到咱们自己的MySQL中来了,后面维护起来就比较方便了。因为我本地已经安装了anaconda,所以这里可以直接使用试试,有问题再说。我是直接使用pip命令安装的,命令如下;

qq_38220334的博客 1431

Airflow不是脚本调度器,而是工作流治理框架

Apache Airflow 本质是一个基于 Python 的工作流生命周期治理框架,其核心在于将任务依赖、失败归因、资源隔离等隐性运维逻辑显式化、可版本化、可追踪。它并非简单的定时任务工具,而是通过 DAG 建模业务契约(时间、数据、资源三重约束),驱动可观测、可审计、可协同的自动化。技术价值体现在故障可定位、变更可灰度、SLA 可承诺;典型应用于金融批处理、电商实时同步、政务数据治理等强可靠性场景。本文聚焦真实落地中的元配置调优、Scheduler 状态机原理与 DAG 设计反模式,直击‘DAG 跑不稳

congji3817的博客 403

别再手动配电脑了!手把手教你用Windows Server 2022搭建企业AD域(附DNS配置避坑指南)

本文详细介绍了如何使用Windows Server 2022搭建企业AD域,提升20+终端的管理效率。通过实战案例和避坑指南,解析AD域的核心价值、部署步骤及DNS配置技巧,帮助企业实现集中权限管理、安全策略统一部署,显著降低IT运维成本。

weixin_30652897的博客 352

mac通过docker一键部署airflow

[toc] Airflow部署及使用 1、前言 由于工作中需要使用airflow进行开发,网上搜索“mac系统在docker中搭建airflow”的文章真的很少,而且写的又不够详细。遂自己摸索搭建成功后便分享给大家使用,即有按部就班“一步一步”的操作,也有“一键初始化”脚本,大家根据自己的实际情况进行操作。 2、系统配置 mac os:Mojave mac version:10.14.6 docker desktop version:2.3.0.4 docker version:19.03.12 doc

xiaoyaojiugui的博客 1138

【DMA】认识 DMA 及其工作流程(与传统CPU存取方式的区别)

【DMA】认识 DMA 及其工作流程(与传统CPU存取方式的区别)

challenglistic的博客 5万+

MAC下airflow安装过程

参考https://airflow.apache.org/start.html创建初始安装脚本 错误: RuntimeError: By default one of Airflow's dependencies installs a GPL dependency (unidecode). To avoid this dependency set SLUGIFY_USES_TEXT_UNI...

zidear的专栏 5252

NeuralKG的安装及简单demo使用(浙江大学开源知识图谱表示学习工具)

记录NeuralKG的安装和使用,以及解决windows系统下的运行demo.py出现的问题。

m0_46621271的博客 1400

忆阻器(二)——忆阻模拟器

除了真实的器件,我们也可以用运放和乘法器来搭忆阻模拟器。这节将介绍数学模型、matlab仿真及multisim仿真。 一、数学模型 忆阻分为磁控和荷控两种,这里介绍三次非线性磁控忆阻模型: {I=W(φ)VW(φ)=a+3bφ2dφdt=V \begin{cases} I=W(\varphi)V \\ W(\varphi)=a+3b \varphi ^2\\ \frac{d \varphi }{dt}=V \end{cases} ⎩⎪⎨⎪⎧​I=W(φ)VW(φ)=a+3bφ2dtdφ​=V​ 这里的WWW

http://www.icfgblog.com/ 1万+

安装Airflow遇到的一些坑(MAC M1)

安装Airflow遇到的一些坑(MAC M1)

m0_37967248的博客 1309

Python地理空间数据库之geopandas使用详解

地理空间数据分析在许多领域中都有着广泛的应用,包括地理信息系统(GIS)、城市规划、环境科学、地质勘探等。Python GeoPandas是一个强大的库,旨在简化地理空间数据的处理和分析。本文将深入介绍GeoPandas库,包括其基本概念、功能特性、示例代码以及在实际应用中的应用场景。

Rocky006的博客 1万+

Airflow安装

前提条件需要安装 Docker 和 Docker-compose,作者用的是 Mac 系统安装的 Airflow。

学而时习之,不亦说乎?温故而知新,可以为师矣! 711

4、Vitis_HLS、Vivado 和 Vitis IDE 工具的设置与使用

本文详细介绍了使用Vitis_HLS、Vivado和Vitis IDE进行FPGA开发的完整流程,涵盖开发板选择、软件安装、IP设计与模拟、综合、导出以及在FPGA上的实现与验证。以Xilinx Artix-7和Zynq系列开发板为例,指导用户从环境搭建到最终硬件验证,完成一个32位加法器IP的开发,适用于嵌入式系统和硬件加速项目的学习与实践。

fff88的博客 182

〔重庆理工大学〕计算机组成原理课设报告--16位单周期CPU设计

本课程设计的实验平台为Altera Quartus II 软件和Altera Cyclone V Starter 工具箱。(1)Cyclone V是Altera FPGAs家族的一类,它面向低功耗应用。Cyclone V GX 5CGXFC5C6F27C7N 芯片有不同的转换器,按钮,LED灯,七段显示器,HDMI接口,SD卡读卡器以及其他链接等。Cyclone V GX 5CGXFC5C6F27C7N是Starter工具箱的重要组件。(2)测试台包含在测设备(DUT)和用于仿真的模拟输入。

Pretty Boy Fox的博客 1068

Airflow 的安装

直接安装 For Mac Mac 或者 Linux 用户安装比较简单,直接根据官网给的安装步骤即可完成: # airflow needs a home, ~/airflow is the default, # but you can lay foundation somewhere else if you prefer # (optional) export AIRFLOW_HOME=~...

auvs67634的博客 1244

零基础入门simulink建模仿真--基于Simulink的QPSK调制与解调仿真建模示例

QPSK是一种相位调制技术,将两个比特映射到一个符号上,每个符号对应四个可能的相位之一(0°、90°、180°、270°)。通过Simulink,我们可以通过模块化的建模方式实现QPSK的调制和解调过程,并观察信号在信道中的传输效果。通过本指南,我们介绍了如何基于Simulink搭建一个完整的QPSK调制与解调仿真模型,并进行仿真和性能评估。背景介绍:理解QPSK调制与解调的基本原理及其应用。所需工具和环境:列出进行QPSK仿真所需的工具和环境。步骤详解。

amy_mhd的博客 1311

airflow安装

这个是官方的安装教程:https://pythonhosted.org/airflow/installation.html 我也是按照这个流程进行安装: 1、export $AIRFLOW_HOME=指定路径/airflow //设置环境变量 2、sudo pip install airflow //下载了一系列依赖的python包放在了python的site-packages下

arya_zhang的博客 4350

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

docker下载、启动、配置apache airflow

mac下安装apache airflow,会遇到各种麻烦,如python版本不支持、网络下载包慢、各种配置等繁琐问题,幸好docker上有airflow资源。废话不多说,接下来记录我在本地搭建airflow项目的过程。 一、启动本地docker 二、访问docker hub上的airflow官网项目地址:https://hub.docker.com/r/apache/airflow。 $docker pull apache/airflow 三、在本地命令行工具执行docker...

plg17的专栏 3044

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

在 Docker 中运行 Airflow

当您想在本地运行 Airflow 时,可能希望使用包含一些额外依赖项的扩展镜像——例如,您可能添加新的 Python 包,或将 Airflow 提供商升级到更高版本。这可以通过在中指定build: .并在旁边放置一个自定义 Dockerfile 来轻松实现。然后您可以使用命令构建您的镜像(只需执行一次)。您也可以在运行其他命令时添加--build标志,以便在运行时动态重建镜像。有关如何通过自定义提供程序、Python 包、apt 包等扩展镜像的示例,请参阅构建镜像。

bill的博客 637

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

数据管道实战入门:用Airflow搭建可监控可维护的ETL链路

数据管道是现代数据工程的核心基础设施,本质是一条具备起点、终点、检查点、监控与重试能力的数据搬运通道。其底层原理围绕ETL/ELT流程展开,通过调度系统(如Airflow)驱动数据从源系统经清洗转换后落库,并嵌入数据质量检查与可观测性机制以保障生产稳定性。该技术方案的价值在于将手工数据处理升级为自动化、可追溯、可恢复的工业级流程,广泛应用于销售分析、用户行为归因、风控指标计算等典型场景。本文聚焦零基础实操,以奶茶店日销管道为例,手把手构建一条真正能交付、可排错、带告警的端到端数据链路。

weixin_30673611的博客 336

MacOS 安装 Airflow 1.10.7

MacOS 安装 Airflow 1.10.7一、下载 Airflow 1.10.7 源码二、解压三、安装 cython 以及 freetds安装依赖 一、下载 Airflow 1.10.7 源码 GitHub 仓库 https://github.com/apache/airflow 1.10.7 源码 https://github.com/apache/airflow/archive/1.10.7.zip python 版本 3.7 二、解压 三、安装 cython 以及 freetds cython

Nick 1249

airflow-安装部署

Aconda安装(略) MySQL安装(8.0版本以上) pip更新 pip install --upgrade pip pip install --upgrade setuptools 依赖库安装 yum install python3-devel yum install libevent-devel yum install mysql-devel yum install -y mysql-devel pip3 install pymysql pip3 install mysql pip3 instal

program哲学 720

Apache Airflow生产级实战:从DAG设计到Celery高可用部署

Apache Airflow 是面向数据工作流的开源编排系统,其核心是通过Python定义有向无环图(DAG)来声明任务依赖与执行逻辑。它基于调度器、执行器与元数据库协同工作,实现任务的可编程化、可版本化与可观测性,显著提升ETL/数据管道的可靠性与协作效率。相比Kubernetes CronJob等轻量方案,Airflow在血缘追踪、权限审计、失败重试与跨团队语义对齐方面具备不可替代的技术价值。尤其在中大型数据平台中,结合CeleryExecutor与Redis消息队列的部署模式,可在资源隔离性、运维可控

368

Airflow新手避坑指南:从安装到第一个DAG的完整流程(Python3.10+Airflow2.10.3)

本文详细介绍了Airflow在Python3.10和Airflow2.10.3环境下的完整配置与DAG开发流程,涵盖环境配置陷阱规避、动态DAG生成技巧及生产级调试方法。通过实战案例和性能优化建议,帮助数据工程师高效构建可维护的数据管道系统。

weixin_30500105的博客 193
上一篇: Spark SQL调优脑图
下一篇: centos 7.5 + Hadoop 3.2.4 集群搭建
Viking_bird
博客等级 码龄11年 92粉丝 183原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值