开水烫鱼的博客

Azkaban概述 Azkaban是一个分布式工作流管理器，在LinkedIn上实现，以解决Hadoop作业依赖性问题。我们 有需要按顺序运行的工作，从ETL工作到数据分析产品。 按我理解，其实就是提供一个友好的web界面，我们可以设定好一些指定的定时任务，可以是按顺序的多个任务，非常好用，上传任务要上传压缩包zip 特点： 1）给用户提供了一个非常友好的可视化界面->web界面 2)非...

使用azkaban在hdfs创建一个文件夹 创建一个文本编辑 type:command command=/opt/hadoop/hadoop-2.8.4/bin/hdfs dfs -mkdir /azkaban 保存，把文件名改成 hdfs.job 压缩成zip格式的压缩包 在azkaban的web界面下，创建项目，项目名为hdfs upload hdfs.job 当任务变绿后，说明执行成功，...