使用Azkaban调度执行spark-sql任务的小Demo

已于 2024-01-23 18:39:10 修改
阅读量2.4k 收藏 5
点赞数 1
CC 4.0 BY-SA版权
分类专栏： spark 文章标签： spark sql javascript
于 2019-04-13 16:01:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wenok147/article/details/89284034

1 、准备数据

准备表dm_action_log 数据如下：

bdp_day action uv
20190101 click 11173
20190101 exit 11109
20190101 install 11139
20190101 launch 11083
20190101 login 11220
20190101 page_enter_h5 11016
20190101 page_enter_native 11076
20190101 page_exit 11120
20190101 register 11064
20190102 click 11168
···················只取前十条·····················
最低0.47元/天 解锁文章

200万优质内容无限畅学
大数据项目开发进度（实时更新）
子浩的博客
06-05 1万+
文章目录前言项目概述项目进度第一周0525-0529：第二周0601-0605： 前言 如果你从本文中学习到丝毫知识，那么请您点点关注、点赞、评论和收藏 大家好，我是爱做梦的鱼，我是东北大学大数据实验班大三的小菜鸡，非常渴望优秀，羡慕优秀的人。从5月25号我们开始了为期两个月的实习，我们需要做一个大型大数据项目，一个项目由三个学生+一个企业的项目经理完成。请大家持续关注我的专栏，我会每天更新。 专栏：大数据案例实战——大三春招大数据开发 专栏：Spark官方文档解读【Spark2.4.5中英双语】 博客地
azkaban调度SQL代码
fwj_ntu的博客
07-16 1875
1. azkaban上新建一个project 登录azkaban后，右上角有个Create Project的按钮，点解后录入项目信息。 2.上传项目文件 前人经验，这里应该上传一个.zip的压缩文件，并且你这个.zip的压缩文件里面不要有文件目录，直接是文件。 这个压缩文件里有2个文件，一个是run.sh的脚本，一个是.job的文件。 脚本文件中存储一些认证的信息，以及文件目录等信息 kl...
Azkaban简介和使用
weixin_34015336的博客
06-13 1390
概述 为什么需要工作流调度系统 l 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 l 各任务单元之间存在时间先后及前后依赖关系 l 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下...
案例实操：Azkaban调度spark作业
学亮编程手记
08-31 951
新建AccessLogDriverCluster类 [](javascript:void(0)???? package com.it19gong.clickproject; import java.sql.PreparedStatement; import java.util.ArrayList; import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD;
Azkaban+Spark资源调度
jiang1182427208的博客
01-02 683
先创建dws_cscd数据库，然后创建dws_cscd数据库的外部表，接着创建ads_cscd数据库，最后创建ads_cscd数据库的外部表。首先在IDEA中分别编写创建DWS数据库、DWS库中外部表并导入数据、创建ADS数据库、ADS库中外部表并导入数据的代码。前提条件：各节点之间的免密、登录启动Hadoop集群、Spark、Azkaban、Hive。登录Azkaban,创建dws_and_ads项目并上传Azkaban_spark.zip压缩包。ADS层和ADS层外部表的创建方式与DWS层相同。
azkaban定时调度sql脚本初体验
qq_41495340的博客
07-06 982
需求：数仓项目需要我每天定时执行集群中的sql脚本文件 我需要把这个项目中的（三个分层）文件放入，因为每天基本上是定时跑这三个文件 第一步，编写job脚本 #before job build project type=command command=su hdfs -c "/data/apps/warehouse-schema/build.sh" retries=10 ##失败的job的自动重试的次数 retry.backoff=120000 ##重试的间隔（毫秒） 注意各个文件之间的依
大数据任务调度（Azkaban，Oozie）
李玉坤的博客
09-03 6062
文章目录常见调度工具OozieOozie架构Oozie运行原理Oozie 工作三大核心Oozie 元数据库Oozie Action 节点类型Oozie Job 创建方式Hue 创建 Oozie job 步骤及演示 常见调度工具 CRONTAB （最简单的方式，适合不是非常复杂的场景，比如只按照时间来调度） OOZIE（Hadoop自带的） AZKABAN（开源的一个调度工具） 定制开发 O...
分布式工作流任务调度系统Easy Scheduler正式开源
数据之路
03-29 4263
Easy Scheduler 大数据工作流调度系统已经开源，欢迎下载交流 https://github.com/analysys/EasyScheduler Easy Scheduler for Big Data 设计特点： 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 其主要目标如下： 以DAG图的方...
大数据工程师学习计划
juan777的博客
02-18 692
数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。 针对以上主要的4个特征我们需要考虑以下问题： 数据来源广，该如何采集汇总？，对应出现了Sqoop，Cammel，Datax等工具。 数据采集之后，该如何存储？，对应出现了GFS，HDFS，T...
使用azkaban调度spark任务
学亮编程手记
09-01 2036
这篇文章主要向大家介绍使用azkaban调度spark任务,主要内容包括基础应用、实用技巧、原理机制等方面，希望对大家有所帮助。 Azkaban是一种相似于Oozie的工作流控制引擎，能够用来解决多个Hadoop（或Spark等）离线计算任务之间的依赖关系问题。 也能够用其代替cron来对周期性任务进行调度，而且更为直观，可靠，同时提供了美观的可视化管理界面。 下文将对azkaban对spark离线任务调度进行简要说明。 一. 简介 该部份内容可参考官方文档：http://azkaban.github..
sh中执行sql脚本
04-29
NULL 博文链接：https://cuityang.iteye.com/blog/2410788
hue上sql运行的结果和Azkaban上运行的结果不一致.
时刻学习
01-21 1588
Azkaban上是shell脚本调用sql内容 hive -e "sql代码" 把sql代码放在hue上运行和用Azkaban上运行。发现2者的运行结果不一样。原因如下。 and event = '$AppClick' ---在hue上运行不需要加转义符\ and event = '\$AppClick' ---在Azkaban上运行需要加转义符\ 因为$符号是特殊符号,shell脚本里面的sql代码里面需要做转义符处理。 另外最好在Azkaban的运行日志里面把sql语句打印出来。如下
azkaban3.0调度spark
叶梨子
01-27 369
源码配置：https://github.com/azkaban/azkaban/blob/master/az-hadoop-jobtype-plugin/src/main/java/azkaban/jobtype/SparkJobArg.java google和官方文档都没有说明spark的调度方法，因此这个需要自己从源码处自己研究怎么写 配置过程 1.plugins/jobtypes下几个文件 commonprivate.properties和common.properties内的hadoop.home
Azkaban配置SparkJobType
Nice的博客
04-12 1145
1.首先要安装azkaban的插件： azkaban-jobtype：https://github.com/azkaban/azkaban/tree/master/az-hadoop-jobtype-plugin/src/jobtypes 2.将spark、common.properties、commonprivate.properties拷贝到服务器中对应的目录，最终的文件展示如下 [hado...
如何将项目上传至Azkaban上运行
shall潇の菜园
06-22 662
文章目录一、编写项目代码二、编写Azkaban必须文件三、使用Azkaban执行项目代码 一、编写项目代码 package Azkaban; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import java.util.Arrays; /** * 为了演示所以就简单点：打印 1-5 */ pu
Azkaban实战
Faded1573606285的博客
11-18 362
Azkaba内置的任务类型支持command、java 1单一job案例 1）创建job描述文件 [atguigu@hadoop102 jobs]$ vim first.job #first.job type=command command=echo 'this is my first job' 2) 将job资源文件打包成zip文件 [atguigu@hadoop102 j...
Azkaban从入门到精通以及案例实操系列
prefect_start的博客
05-24 4071
Azkaban从入门到精通再到实战一文搞定
Azkaban：大数据任务调度与编排工具的安装与使用
最新发布
天冬忘忧的博客
10-02 3122
在当今大数据时代，数据处理和分析任务变得越来越复杂。一个完整的大数据分析系统通常由大量任务单元组成，如 shell 脚本程序、mapreduce 程序、hive 脚本、spark 程序等。这些任务单元之间存在时间先后及前后依赖关系，为了高效地组织和执行这些复杂的任务，需要一个强大的工作流调度系统。Azkaban 就是这样一个任务调度和编排工具，它可以帮助我们轻松地管理和执行大数据任务。本文介绍了 Azkaban 的简介、体系结构、安装步骤、使用方法等方面的内容。
第一章：Hadoop高级调度工具：Azkaban
11-12
1.Azkaban 技术原理与架构 2.Azkaban 部署实施 3.Azkaban 实现调度Hadoop job，Spark job
Azkaban执行服务器0.1.0-SNAPSHOT版本发布
通过使用如"Maven"这样的构建工具，开发者可以获取和构建"azkaban-exec-server"项目。Maven通过项目的POM（项目对象模型）文件来管理项目的构建过程，并能够解决项目的依赖关系。开发人员也可以从中央仓库下载相应的...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

塔城就是个弟弟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值