Airflow metastore清理

最新推荐文章于 2025-02-20 02:32:24 发布
最新推荐文章于 2025-02-20 02:32:24 发布
阅读量870 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： python big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46090057/article/details/132192050
本文介绍如何使用Airflow命令行工具清理Airflow数据库中的过期statusrecord，包括指定清理时间戳和表名，以及作者作为数据科学领域的博士后，分享数据科学工具应用和交流资源。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

点赞发Nature
关注中Science

Airflow 运行中存在许多status record以table的形式保存的数据库中，需要定时清理：

用airflow command line tool可以进行清理：
airflow db clean --clean-before-timestamp <timestamp> -t <table_name> --dry-run -verborse -y

airflow metastore的table主要有

  • log
  • task_instance
  • dag_run
  • dag
  • task_fail
  • task_instance
  • xom

timestamp的格式为yyyy-mm-dd

譬如：
airflow db clean -clean-before-timestamp 2023-01-01 -t log
————————
我目前奥尔堡大学做博士后(我的google scholar, 我的Github)，关注能源与环境数据科学。

专注于分享利用数据科学工具，欢迎一起交流、学习、合作。

关于我的博客内容、其他相关的研究问题，有问题可以下方👇评论、或私信我~

Cmmm丶
关注
Airflow 日志清理与管理的最佳实践
m0_62153576的博客
02-21 178
Airflow 提供了丰富的工具来管理和清理日志。通过正确的配置和使用官方或自定义的清理脚本，可以有效地保持系统的整洁和性能。希望本文能帮助你在使用 Airflow 时更好地管理日志，减少系统维护的负担。
清理日志或文件的脚本
Norton〃的博客
11-20 460
背景：我们的服务在运行中总会不停的输出日志，日积月累可能会占用大量磁盘空间，如果每次手动去清理又显得很不优雅，所以我们可以通过脚本去操作，只保留某一段时间内的日志文件。
Airflow Logs
来啊 快活啊
04-16 4582
dag_process_manager：scheduler有个功能是监控airflow_dags目录下面的dag文件，然后同步到数据库的dag表中，这是添加dag记录的唯一方法，没有其他的入口可以添加一个新的dag；数据库里的dag记录都是Scheduler扫描airflow_dags目录自动生成的；此文件夹中的日志文件dag_process_manager.log记录的便是此过程的日志； dag...
airflow详细配置说明
permike的专栏
08-11 8331
[core] # The home folder for airflow, default is ~/airflow airflow_home = /home/frappe/airflow # The folder where your airflow pipelines live, most likely a # subfolder in a code repository dags_fold
DolphinDB +Python Airflow 高效实现数据清洗
DolphinDB智臾科技
04-07 1730
如何将 Airflow 调度框架与 DolphinDB 数据库结合起来进行结构化 ETL 作业管理~
Apache Airflow 2.3.0 在五一重磅发布！
数据一哥，公众号：数据社
05-04 6108
编辑：数据社全文共1641个字，建议5分钟阅读大家好，我是一哥，在这个五一假期，又一个Apache项目迎来了重大版本更新——Apache Airflow 2.3.0 在五一重磅发布！01Apache Airflow 是谁 Apache Airflow是一种功能强大的工具，可作为任务的有向无环图（DAG）编排、任务调度和任务监控的工作流工具。Airflow...
airflow-maintenance-dags:一系列DAG工作流程可帮助维持Airflow的运行
05-07
数据库清理您可以部署到Airflow中的维护工作流，以定期清除DagRun，TaskInstance，Log，XCom，Job DB和SlaMiss条目，以避免Airflow MetaStore中包含过多数据。 终止任务 您可以部署到Airflow中的维护工作流，以...
airflow 文档学习(一) 基本Operator
bading8536的博客
12-03 2396
1. Operator和task 简单来说，Operator就是task的抽象类 2. BaseOperator 所有的功能性Operator的来源 2.1 参数： task_id (string) ：唯一标识task的id owner (string) retries (int)：任务重试此时 retry_delay (timedelta) ：重试间隔 start_date (...
在AWS EMR上用Hive、Spark、Airflow构建一个高效的ETL程序
weixin_30777913的博客
12-09 1799
在AWS EMR（Elastic MapReduce）上构建一个高效的ETL程序，使用Hive作为数据仓库，Spark作为计算引擎，Airflow作为调度工具时，有几个关键的设计与实施方面需要注意。在AWS EMR上构建高效的ETL程序，首先需要设计合理的集群架构、数据存储结构和计算框架，并优化每个环节的性能。通过合理配置Hive与Spark的参数，充分利用Airflow的调度功能，可以大大提升ETL流程的效率和可维护性。
使用Databricks作为分析平台
weixin_45906054的博客
07-28 4294
简介：SPARK+AI SUMMIT 2020中文精华版线上峰会将会带领大家一起回顾2020年的SPARK又产生了怎样的最佳实践，技术上取得了哪些突破，以及周边的生态发展。本文是阿里巴...
工业物联网下一站制造项目：数仓设计与数据采集详解
遇到SparkSQL的Thrift启动问题时，可能涉及到清理过期包，导入特定版本的Hive库，以及调整hive-site.xml文件设置。 这一系列知识点涵盖了从项目需求理解、技术栈选择到具体操作实践的全面内容，有助于理解和实施一...
Airflow新版2.3.0新特性
chenzuoli的博客
06-07 689
airflow 2.3.0版本发布啦，来看看新特性。
airflow工作流引擎的使用
闲人的专栏
10-09 1344
如果分开运行 airflow schedule和webserver也可以，不过有点麻烦。airflow会在~/airflow目录下创建一系列的文件。默认的配置文件是~/airflow/airflow.cfg。运行airflow，只需要这一个命令即可。
Airflow 任务调度工具的安装及配置（从安装到部署运行）
weixin_45602900的博客
04-19 6364
下方这个是airflow官方中文文档共大家参考： https://airflow.apachecn.org/#/zh/start 首先先创建airflow的虚拟环境，创建虚拟环境在我上一篇文章大家可以参考。 文章链接: https://blog.youkuaiyun.com/weixin_45602900/article/details/123821849 进入虚拟环境之后安装airflow pip install apache-airflow 之后配置存放airflow配置的文件夹 我这里是放在 /home
如何删除airflow中不再使用的dag
云想慕尘的专栏
06-20 2143
如上图，airflow中的dag关闭后仍然会在webui中占坑，实在碍眼。调研后发现airflow并未提供删除功能。 经分析实践，可以通过删除airflow的元数据库中相应数据，从而达到删除dag的目的。 接上图，要删除dag squaredance_datamart，需要删除元数据库中如下表的相应数据： select count(1) from dag where dag_id='squaredance_datamart'; select count(1) from dag.
Airflow XCom清理指南
最新发布
m0_62153576的博客
02-20 77
然而，随着时间的推移，XCom中可能积累了大量过时的数据，占用数据库空间并且可能导致性能下降。今天我们将详细探讨如何在Airflow中清理超过30天执行日期的XCom值，并解决可能遇到的错误。类的引用和使用正确的SQLAlchemy操作，我们成功解决了清理XCom值时遇到的问题。这不仅帮助我们保持数据库的整洁，还提高了Airflow的执行效率。在Airflow中，每个任务执行后，XCom值会被存储在数据库中。假设我们有一系列任务，这些任务在过去30天内执行过，并在XCom中存储了结果。
全流程调度-Airflow介绍和使用
迷雾总会解
06-13 1万+
Airflow是一个以编程方式编写，安排和监视工作流的平台。使用Airflow将工作流编写任务的有向无环图（DAG）。Airflow计划程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。丰富的用户界面使查看生产中正在运行的管道，监视进度以及需要时对问题进行故障排除变的容易。
Airflow 中文文档：写日志
热门推荐
龙哥盟
11-29 4万+
在本地编写日志 用户可以使用base_log_folder设置在airflow.cfg指定日志文件夹。 默认情况下，它位于AIRFLOW_HOME目录中。 此外，用户可以提供远程位置，以便在云存储中存储日志和日志备份。 在Airflow Web UI中，本地日志优先于远程日志。 如果找不到或访问本地日志，将显示远程日志。 请注意，只有在任务完成（包括失败）后才会将日志发送到远程存储。 换句话说，运...
工作流调度工具Airflow1.8搭建及使用
weixin_34195142的博客
05-29 1129
编写目的 最近工作任务需要把原来使用Kettle的ETL流程迁移到Hadoop平台上，就需要找一个替代Kettle工作流部分的工具。在大数据环境下，常用的无非是Oozie，Airflow或者Azkaban。经过简单的评估之后，我们选择了轻量化的Airflow作为我们的工作流工具。 Airflow是一个工作流分配管理系统，通过有向非循环图的方式管理任务流程，设置任务依赖关系和时间调度。Airflow...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值