loftiest的博客

YAML 语言 基础案例 Hello World 案例 作业依赖案例 手动失败重试案例 YAML 语言 基本语法 大小写敏感。 使用缩进表示层级关系，但是只能使用空格来缩进。 支持的数据结构 对象：键值对的集合 数组：一组按次序排列的值 纯量：单个的、不可再分的值 对象 name: namename 数组 - name: zhangsan - name: wangwu age: 15 # 有一个数组两个元素，[{name: zhangsan},{name: wangwu,age: 15}.

安装Azkaban 解压db、web、exec压缩包到指定目录。 并修改适合的文件名。 配置Mysql 创建azkaban数据库 create database azkaban; 创建Azkaban用户并赋权限 # 创建用户 CREATE USER 'azkaban'@'%' IDENTIFIED BY '123123'; # 赋予用户增删改查权限 GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OP

概述 为什么需要工作流程调度系统 一个完整的数据分析系统通常都是由大量的任务单元组成： Shell脚本，Java程序，MapReduce程序、Hive脚本等 各个任务单元之间存在时间的先后顺序及前后依赖关系 如果这些关系由人来单独协调，需要时刻关注任务的执行，极大浪费了时间。所以工作流程调度系统恰好解决了需求还节省了不必要的时间。 常见的工作流程调度系统 简单的任务调度 直接使用Linux自带的定时执行工具Crontab来定义。 复杂的任务调度 开发一个调度平台或者使用现成的开源调度.