Airflow单机安装手动安装

单机安装手动安装

一、安装Anaconda及python

1.1 安装anacoda

​ 默认安装 路径： /root/anaconda3

1.2 配置环境变量

​ export=/root/anaconda3/bin

1.3 进入anaconda环境

​ 安装后执行：source activate，进入anaconda环境

1.4 安装python

​ 在anaconda中安装一个指定的python版本：

conda create -n python3.11 python=3.11，
#安装后的在如路径下：/root/anaconda3/envs

1.5 激活anaconda下安装的python环境：

source activate
conda activate python3.11

anaconda相关命令如下：

source activate 【初始化conda,必须执行,执行之后可以使用conda命令激活环境】
conda deactivate 【退出当前base环境】
conda activate python37 【激活使用python37环境】
conda deactivate 【退出当前使用python37环境】
conda remove -n python37--all 【删除python37环境】
source activate始化conda，必须执行，执行之后可以使用conda命令激活环境】
conda deactivate【退出当前base环境】
conda activate pychon37 【激活使用python37环境】
conda deactivate 【退出当前使用python37环境】
conda remove -n python37--all 【删除python37环境】

二、安装airflow

2.1 安装依赖

Airflow正常使用必须需要一些系统依赖，在mynode4节点上安装以下依赖

yum install mysql-devel gcc gcc-devel python-devel gcc-c++ cyrus-sasl cyrus-sasl-devel cyrus-sasl-lib

2.2 创建数据库

在mysql中创建对应的数据库 ，并设置参数

myslq -h 127.0.0.1 -u root -p;
CREATE DATABASE airflow CHARACTER SET Utf8;
create user 'airflow'@'%' identified by'123456';
grant all privileges on airflow.* to 'airflow'@'%';
flush privileges;

/**etc/my.cnf**/
[mysqld]
explicit_defaults_for_timestamp=1

2.3 安装airflow

切换到conda安装的python环境, 然后安装

conda activate python3.11
pip install apache-airflow -i https://pypi.tuna.tsinghua.edu.cn/simple

安装 后在anaconda中的路径：/home/fantasy/anaconda3/envs/python3.11/lib/python3.11/site-packages

2.4 airflow配置

#查看是否已经有配置文件
airflow config list | grep "airflow.cfg" 

# 生成airflow.cfg
#在 Airflow 2.x 版本中，webserver_config.py 文件的生成已经被移除。与旧版本不同，Airflow 2.x 将 webserver_config.py 的配置合并到了 airflow.cfg 中，特别是与 Web 服务器相关的配置项。
airflow db init

配置airflow.cfg

[core]
dags_folder=/root/airflow/dags
#修改时区
default_timezone=Asia/Shanghai
#配置数据库
sql_alchemy_conn=mysql+mysqldb://airflow:123456@192.168.1.108:3306/airflow?use_unicode=true&charset-utf8
[webserver]
#设置时区
default_ui_timezone=Asia/Shanghai
#设置DAG显示方式
# Default DAG view. Valid values are:treegraph`*duration`ganttlanding timesdag
default_view = graph
[scheduler]
#设置默认发现新任务周期，默认是5分钟
# How often (in seconds)to scan the DAGs directory for new files. Default to 5 minutes.
dag_dir_list_interval = 30

安装mysql客户端驱动

sudo apt-get update
sudo apt-get install build-essential
sudo apt-get install libmysqlclient-dev
pip install mysqlclient -i https://pypi.tuna.tsinghua.edu.cn/simple

初始化数据库表

airflow db init

创建用户并初始化用户

airflow users create \
          --username airflow \
          --firstname shaowei \
          --lastname fan \
          --role Admin \
          --email admin@example.org
#输入密码： airflow          

启动airflow (webserver、scheduler)

airflow webserver --port 8080
airflow scheduler

2.5 访问airflow页面

http:// 127.0.0.1:8080