运维
关注
分享
扫一扫
文章平均质量分 83
清如許
关注微信公众号somenzz，后台回复【2048】，送你一份大礼
展开
-
任务调度神器 airflow 之初体验
阅读本文大概需要 3 分钟airflow 是 apache下孵化项目，是纯 Python 编写的一款非常优雅的开源调度平台。github 上有 8971 个星，是非常受欢迎的调度工具。airflow 使用 DAG (有向无环图) 来定义工作流，配置作业依赖关系非常方便，豪不夸张地说：方便程度简直甩其他任务调度工具一条街。 airflow 有着以下天然优势： 1. 灵活易用，airf...原创 2018-08-14 14:38:53 · 7335 阅读 · 0 评论 -
一条SQL语句提交后，db2都做了什么？
一直在做 db2 数据仓库的运维工作，对一些常用操作已经非常熟悉，但是总感觉自己学到是仍然是操作的细节，而不是真正的知识。如果你问我，一条 SQL 语句提交后，db2 都做了哪些工作，我可能会有点慌，因为我不能肯定的回答出来。于是，我就搜索一些资料，结合自己的理解，总结一下关于 db2 体系结构，db2 内存模型，SQL语句的执行过程，希望对正在使用 db2 的你有所帮助。为什么要学习架构？如...原创 2018-12-05 22:16:38 · 612 阅读 · 0 评论 -
一文搞懂 db2 的锁（表锁、行锁、共享锁、排他锁）
锁，很好理解，每个人都在自己的房屋上安装有锁，你拥有了锁，房屋只有你能独占，别人不能访问。数据库中的锁也一样，只不过更加细分。db2 中基本的锁有两类：排他锁（X锁），也叫写锁，当某行数据正在被修改时，其他进程不能再读取或修改共享锁（S锁），也叫读锁，当某行数据正在被读取时，其他进程修改db2 事务的隔离锁的这种机制都是为事务隔离来服务的，这里就不得不说下什么是事务，事务就是数据库管...原创 2018-12-05 22:15:04 · 17209 阅读 · 0 评论 -
运维必备--如何彻底解决数据库的锁超时及死锁问题
之前有介绍过，我主要是做数据仓库运维的，业余也会动手写 python 程序，django 应用，vue 的 app，有兴趣可以加我好友一起学习。最近比较让我头疼的是数据仓库的 datastage 作业经常报 911 错误，最终问题得到了解决，在此总结一下，希望能帮到要解决 911 错误的朋友们。先介绍下数据仓库的概念：一个面向主题的、集成的、非易失性的、随时间变化的数据的集合，以用于支持管理...原创 2018-12-05 21:24:46 · 4839 阅读 · 0 评论 -
10 分钟搭建一个超好用的 CMDB 系统
CMDB 是什么，作为 IT 工程师的你想必已经听说过了，或者已经烂熟了，容我再介绍一下，以防有读者还不知道。CMDB 的全称是 Configuration Management Data Base，翻译下就是配置管理数据库，它存储与管理企业 IT 架构中设备的各种配置信息，它支撑服务流程的运转、发挥着配置信息的价值。在今天，无论是自动化运维、标准化运维、DevOps、甚至是时髦的智能运维，其实都...原创 2018-10-28 06:55:15 · 78155 阅读 · 10 评论 -
Docker 容器从入门到痴迷
文章目录1. docker 是什么2. docker 解决什么问题1. 解决虚拟机资源消耗问题。2. 快速部署。3. 提供一次性的环境。4. 提供弹性的云服务。5. 组建微服务架构。3. docker 安装部署与使用1. 安装 docker 引擎2. 使用 docker1. 理解 docker 的架构2. docker 命令3. 卷的概念4. 自制镜像并发布4. docker 网络6. docke...原创 2018-09-28 23:15:30 · 1286 阅读 · 0 评论 -
如何部署一个健壮的 apache-airflow 调度系统
之前介绍过的 apache-airflow 系列文章任务调度神器 airflow 之初体验airflow 安装，部署，填坑airflow 配置 CeleryExecutor介绍了如何安装、配置、及使用，接下来介绍如何在跨多个节点来安装部署 apache-airflow：本文主要介绍以下几点：airflow 的守护进程airflow 单节点部署airflow 多节点（集群）部署...原创 2018-09-17 21:38:38 · 11854 阅读 · 4 评论 -
一文搞懂 celery 远程调用任务
celery 是分布式的异步任务队列，既然是分布式，那么肯定是支持远程调度任务的，那么它是如何实现的呢？celery 主要是通过中间人来实现远程调度的，中间人 broker 的工具如 RabbitMQ，Redis 服务支持远程访问。由于官方的示例都是基于本地的任务调用，本文向大家展示如何使用 Celery 调用远程主机上的任务- 在主机 C 上调用主机 A 上的任务 taskA，调用主机 ...原创 2018-09-05 06:56:59 · 3954 阅读 · 0 评论 -
airflow 配置 CeleryExecutor
阅读本文大概需要 3 分钟celery 是分布式任务队列，与调度工具 airflow 强强联合，可实现复杂的分布式任务调度，这就是 CeleryExecutor，有了 CeleryExecutor，你可以调度本地或远程机器上的作业，实现分布式任务调度。本文介绍如何配置 airflow 的 CeleryExecutor。操作步骤CeleryExecutor 需要 Python...原创 2018-08-16 22:32:57 · 4952 阅读 · 0 评论 -
airflow 安装，部署，填坑
阅读本文大约需要 8 分钟。上一篇文章已经介绍过 airflow ，相信需要的人早已上网搜索相关资料，已经开始动手干了，没错，就是干，喜欢一件事件，请立即付诸行动，不要拖，时间一长，就凉了。Python 的包管理工具 pip 是一个非常优秀的工具，Python 相关的库都可以使用 pip 安装，airflow 也不例外。废话不多说，直接上操作步骤。截止目前 2018年8月14日...原创 2018-08-15 22:30:55 · 8530 阅读 · 1 评论 -
运维必备--如何彻底解决数据库的锁超时及死锁问题
之前有介绍过，我主要是做数据仓库运维的，业余也会动手写 python 程序，django 应用，vue 的 app，有兴趣可以加我好友一起学习。最近比较让我头疼的是数据仓库的 datastage 作业经常报 911 错误，最终问题得到了解决，在此总结一下，希望能帮到要解决 911 错误的朋友们。先介绍下数据仓库的概念：一个面向主题的、集成的、非易失性的、随时间变化的数据的集合，以用于支持管理...原创 2018-12-05 22:28:40 · 2044 阅读 · 1 评论