Azkaban2.0配置运行Java Job传参，指定JVM内存

最新推荐文章于 2023-05-18 17:05:28 发布

anickname

最新推荐文章于 2023-05-18 17:05:28 发布

阅读量805

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 Azkaban

本文链接：https://blog.youkuaiyun.com/javajxz008/article/details/120163793

大数据专栏收录该内容

5 篇文章

订阅专栏

该篇博客详细解析了一段Java进程配置，包括类路径、主参数和JVM参数的设置，特别是executor节点下classpath指定的jar包路径。内容侧重于后端开发中的Java进程管理和执行上下文。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

nodes:
 - name: java_xhs_keyword_comment
   type: javaprocess
   config:
     java.class: com.jxz.dw.entry.SyncEntry
     classpath: /home/ops/dw_sync-1.0.jar
     main.args: xhs_keyword_comment 2021-09-07
     jvm.args: -Xms4096M -Xmx4096M

flow中的主要配置如上。注意classpath处的jar包路径是executor节点所在位置。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

anickname

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

java 二次封装azkaban 实现azkaban任务的执行

一杯咖啡半杯糖的博客

01-27

1354

本解决方案基于azkaban 3.84.4版本整个一套下来，很复杂，很容易配置错误，本解决方案基于此应运而生，本解决方案优点如下 1、基于SSM架构，基于springboot实现，可用接口调用 2、azkaban的复杂的依赖配置可以变成简单的参数传递，自动生成flow和上传flow，省去了中间复杂的配置过程，开箱即用 3、接口直接执行azkaban，无需人工登录azkaban触发执行 4、核心代码可以直接复用，用于对azkaban有定制需求的开发者

Spark面试问题总结

weixin_41367158的博客

03-07

540

在Spark中有两类task，一类是shuffleMapTask，一类是resultTask，第一类task的输出是shuffle所需数据，第二类task的输出是result，stage的划分也以此为依据，shuffle之前的所有变换是一个stage，shuffle之后的操作是另一个stage。但是这里必须要注意的是，在实际的生产环境中，恐怕能够直接用这种策略的场景还是有限的，如果RDD中数据比较多时（比如几十亿），直接用这种持久化级别，会导致JVM的OOM内存溢出异常。如果提交失败了，它将会重试；

参与评论您还未登录，请先登录后发表或查看评论

【azkaban】azkaban配置传参

依旧的博客

10-14

6580

通过配置文件向全局传递参数（变量）示例： 1、windows上创建一个chuansan.job和一个配置文件cs.properties chuansan.job type=command command=sh /test/test.sh ${a} ${b} cs.properties 配置文件要是properties文件，文件名可以自定义 a=我是参数a b=我是参数b 2、在Linux编写脚本test.sh test.sh echo $2.$1 > /test/.

azkaban配置

行人事，知天命

04-08

6195

azkaban web server配置1. 主要配置参数说明默认 azkaban.name azkaban网页UI显示名称 Local azkaban.label 对azkaban的描述 My Local Azkaban azkaban.color Azkaban UI的颜色设置 FF3601 web.resource.dir 页面的CS

azkaban job参数传递

weixin_30555125的博客

04-15

904

Parameter PassingThere is often a desire to pass these parameters to the executing job code. The method of passing these parameters is dependent on the jobtype that is run, but usually Azkaban wr...

Azkaban文档

You and me~

03-25

5514

这个文档假定你已经通过quit start部分了解Azkaban的基础的部分 Jobs和配置 Azkaban jobs是主要的代码加上配置的值。配置是按照的格式存储在属性文件当中的。这些job文件可以通过手动编写文本文件创建或者通过用户界面进行创建。许多配置参数都是你的job的自定义配置，但是也有许多可以激活job功能的标准参数。这些参数将会在下面的部分进行描述说明。 a

2021-03-19~20 大数据课程笔记 day58day59

qq_44745905的博客

03-20

711

@R星校长 1 Scala 1.1 【重点】Scala六大特性 1) 与java无缝整合 2) 类型自动推断 3) 并发和分布式 4) Trait特质特性 5) Match模式匹配 6) 高阶函数 1.2 【重点】Scala & Java异同？ 1) 类型定义声明不同，Scala ：val/var Java强类型定义。 2) Scala中有类和对象，Java中有类。 3) Scala、java都是是基于Jvm,scala面向对象+面向函数编程，java面向对象编程。 4) .

azkaban异常：Cannot request memory (Xms 0 kb, Xmx 0 kb)

m0_46914845的博客

08-13

713

azkaban异常：Cannot request memory (Xms 0 kb, Xmx 0 kb)

azkaban使用--传入动态参数

weixin_30535167的博客

04-28

2171

转： azkaban的工作流中的参数可以分为如下几个类型：azkaban UI 页面输入参数，环境变量参数， job作业文件中定义的参数，工作流的用户定义的属性文件，上游作业传递给下游的参数，工作流运行时产生的系统参数，job的common参数等。参数的作业范围分类，对当前job有效局部有效，对整个工作流全局有效。 1. Job配置中的参数全局参数，在整个工作流的作业文件配置...

保姆级教程：Azkaban执行jar包（带测试样例及结果）

天然玩家的博客

07-07

1056

核心：（1）Azkaban执行jar包：jar包中必须包含程序正常执行的所有依赖包，这也要求打包时必须将依赖打到jar包中；（2）执行jar包的job类型为：javaprocess；（3）配置执行main函数的类全限定名，用于执行main方法；（4）Azkaban执行jar包通过：java -cp完成；（5）可以通过job配置虚拟机参数。...

azkaban开发环境配置

09-03

主要用于配置eclipse的gradle和jetty插件，使用了azkaban开发环境。

azkaban调度

07-04

azkaban调度系统二次开发

3、azkaban-3.51.0 条件工作流flow和参数传递

热门推荐

alanchanchn的专栏

05-18

7万+

除了type,command,dependencies三个必选参数外，还有如下参数可以为每个job配置一个flow的email属性，只会取最后一个job的配置，其他的job的email配置将会被忽略。

本地调试azkaban问题解决

01-18

516

azkaban-web启动类为AzkabanWebServer 直接启动main方法是起不来的， 1、首先JVM参数添加log4j配置，不然会报StackOverflowError异常 -Dlog4j.configuration=file:///D:\data\azkaban_conf\log4j.properties log4j没配置导致StackOverflowError异常，猜测是因为main方法第一行调用了StdOutErrRedirect.redirectOutAndErrToLog()方法，把控

azkaban配置属性归纳及界面属性整理（配置篇）

weixin_34342992的博客

09-14

1308

2019独角兽企业重金招聘Python工程师标准>>> ...

大数据Hadoop之——任务调度器Azkaban（Azkaban环境部署）

匠人精神，持之以恒！

03-21

8191

文章目录一、概述1）什么是任务调度？2）常见任务调度工具3）什么是Azkaban二、Azkaban 与 Oozie 对比三、Azkaban 运行模式及架构1）Azkaban Web Server2）Azkaban Executor Server3）关系型元数据库（MySQL）四、Azkaban安装部署1）solo server mode安装1、下载2、构建Azkaban安装包3、把编译好的包copy到其它目录3、启动服务4、web访问验证5、配置https并重启服务2）multiple executor m

azkaban动态传入作业参数使用介绍

helloxiaozhe的博客

07-26

1万+

azkaban动态传入作业参数使用介绍参数传递时调度系统工作流运行时非常重要的一部分，工作流的执行，单个作业的执行，多个工作流之间的依赖执行，历史任务重算，都涉及参数传递和同步. （1）azkaban的工作流中的参数可以分为如下几个类型： 1）、azkaban UI 页面输入参数， 2）、环境变量参数， 3）、job作业文件中定义的参数，4）、工作流的用户定义的属性文件， 4）、上游...

azkaban 动态传参shell篇

Mask_V的博客

12-04

4956

原文地址：https://www.cnblogs.com/honeybee/p/7921626.html 2. shell类型的job的参数传递 azkaban中的shell 作业，如何接收从webUI传递的参数？ step1： UI页面输入参数定义： ui_test=test111111111 step2：在job文件myjob.job指定： ##作业定义文件UI输入参数接收： ...

azkaban 参数传值坑.

一杯派蒙的博客

11-23

2138

如图，azkaban 中 “” 的内容会被过滤掉。

azkaban 2.0 安装

最新发布

03-23

### Azkaban 2.0 安装指南 #### 准备工作在安装 Azkaban 2.0 之前，需要准备以下依赖项和环境配置： - Java JDK (建议使用 OpenJDK 或 Oracle JDK 版本 8 及以上)[^4]。 - Apache Tomcat 或其他兼容的 Web 应用服务器用于运行 Azkaban Web Server[^1]。 #### 下载并解压 Azkaban 软件包下载 Azkaban 的最新稳定版软件包 `azkaban-web-server` 和 `azkaban-executor-server` 并将其解压缩至目标目录。例如，在 Linux 环境下可执行如下命令完成解压操作： ```bash tar -zxvf azkaban-web-server-2.5.0.tar.gz tar -zxvf azkaban-executor-server-2.5.0.tar.gz ``` 上述步骤适用于部署 Azkaban Executor Server 部分。 #### 数据库初始化 Azkaban 使用数据库存储作业元数据和其他相关信息，默认支持 MySQL 数据库。需创建一个新的数据库实例以及相应的表结构。具体 SQL 初始化脚本通常位于 Azkaban 发布包中的 `sql/` 子目录下。通过以下命令导入初始 schema: ```sql mysql -u root -p < path/to/create_mysql.sql ``` 此过程会设置好所需的表及其字段定义。 #### 配置文件调整对于 Azkaban Web Server 和 Executor Server 各自对应的配置文件都需要做适当修改来适配实际生产环境需求。比如指定 JDBC URL 连接字符串、用户名密码等参数均应在相应位置填入真实值以便正常连接后台数据库服务。另外需要注意的是如果是在 Windows 上开发测试，则可能还需要额外建立项目描述符即 `.project` 文件，并按照特定格式填写必要信息如版本号声明为 `"azkaban-flow-version": "2.0"` 来表明遵循最新的流程标准[^2]。 #### 启动服务当所有前期准备工作完成后即可分别启动两个核心组件——Web UI 接口层与任务调度引擎部分。一般情况下只需简单调用内置脚本来实现这一点： ```bash # Start the web server sh azkaban-web-server/bin/start.sh # Start the executor server sh azkaban-executor-server/bin/start.sh ``` 此时应该可以通过浏览器访问默认地址 http://localhost:8081 登录管理界面。 ---