dolphinscheduler3.1.4提交spark任务--master参数源码解析

新一代调度系统Dolphinscheduler的部署和简单使用总结 一、软件简介 分布式易扩展的可视化工作流任务调度平台 Apache DolphinScheduler(incubator) 于17年在易观数科立项,19年3月开源, 19 年8月进入Apache 孵化器。 Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。 整体架构 二、安装部署 支持单机,集群,docker,kubernetes,sk.. 阅读详情

结论:部署方式为local时,master参数为local;否则master参数为yarm。

今天把在dolphinscheduler提spark任务配置通了,但是在实例任务的日志中,我发现spark任务的提交命令spark-submit中--master参数总是yarm,而且任务配置页面也无该阐述的配置,遂,去分析源码去了。

一、首先,定位源码文件路径:dolphinscheduler-task-plugin\dolphinscheduler-task-spark\src\main\java。
二、可以先扫一眼SparkConstants.java,里面是定义的一些配置常量,混个眼熟,方便后面分析。
在这里插入图片描述
三、定位SparkTask.java的populateSparkOptions函数,下面图片已批注一些关键信息
在这里插入图片描述
无外乎,两种情况嘛:
deployMode!="local"时,args列表里的值为 --master yarn --deploy-mode deployMode
deployMode=="local"时,args列表里的值为 --master local
后面其他的配置阐述就不详细说了,本文关注 --master 参数。
populateSparkOptions函数最后return args;
四、定位调用populateSparkOptions函数的地方,看args参数怎么融入spark-submit任务提交命令中的。
在这里插入图片描述
可以看到它用空格将args这个list对象里的元素连接起来了,为拼接成提交命令做准备。

深入了解海豚调度DolphinScheduler 容错后处理:ZooKeeper Master容错完成之后则重新由DolphinScheduler中Scheduler线程调度,遍历 DAG 找到”正在运行”和“提交成功”的任务,对”正在运行”的任务监控其任务实例的状态,对”提交成功”的任务需要判断Task Queue中是否已经存在,如果存在则同样监控任务实例的状态,如果不存在则重新提交任务实例。在这种架构下,集群中的管理者是被动态选择出来的,而不是预置的,并且集群在发生故障的时候,集群的节点会自发的举行"会议"来选举新的"管理者"去主持工作。 阅读详情

相关推荐

分布式任务调度系统实战:从IAR93B理念到Apache DolphinScheduler部署

分布式任务调度系统是现代数据处理架构的核心组件,它通过解耦计算资源与任务单元,实现大规模并发任务的高效编排与执行。其核心原理基于中心化调度模型,将任务状态持久化、依赖关系可视化,并支持动态扩缩容与故障恢复,从而解决了传统脚本管理中的资源混乱、状态丢失等痛点。在技术价值层面,这类系统显著提升了数据处理流水线的可靠性、可观测性与自动化水平,成为大数据平台、微服务架构中不可或缺的基础设施。典型应用场景包括ETL数据管道、定时报表生成、机器学习流水线以及微服务任务编排等。本文以IAR93B项目倡导的“炮多弹多”理念

weixin_34292402的博客 383

基于DolphinScheduler构建大数据调度平台

Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。 调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinScheduler ? DolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。 DolphinScheduler是非常强大的大数据调度工具,有以下一些特点:1、通过拖拽以DAG 图的方式将 Task 按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态;2、支持丰富的任务类型;3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作;4、支持工作流全局参数及节点自定义参数设置;5、支持集群HA,通过 Zookeeper实现 Master 集群和 Worker 集群去中心化;6、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计;7、支持补数,并行或串行回填数据。课程会带大家构建DolphinScheduler大数据调度平台,实战讲解多种任务调度配置,会基于案例讲解DolphinScheduler使用,让大家在实战中掌握DolphinScheduler。 DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler,掌握DolphinScheduler调度使用势在必行,抓住新技术机遇,为跳巢涨薪做好准备。

DolphinScheduler入门实战:从零部署到工作流编排与运维指南

任务调度是数据工程与自动化运维的核心基础组件,其核心原理在于将分散、脆弱的定时任务通过有向无环图(DAG)模型进行编排,转化为集中、可靠、可视化的自动化工作流。这项技术通过定义任务间的依赖关系、执行策略和资源隔离,实现了数据处理流程的自动化与高效管理,其技术价值在于显著降低运维成本、提升任务可靠性与开发效率。在数据仓库ETL、机器学习流水线、报表系统等场景中,一个稳定易用的调度平台是数据基础设施的关键支柱。本文聚焦于Apache顶级开源项目DolphinScheduler,深入讲解其Standalone模式

weixin_33691700的博客 488

【Spark数仓项目】需求四:Dolphinscheduler进行日志文件调度

项目中所需的表,工具类,可以在前文需求中找到。

qq_31412425的博客 1471

【信息科学与工程学】【数据科学】第一百二十二篇 大数据产品中的函数与算法01

它通常指。下面按照你给出的表格列💡 说明:下表中的"产品"以开源/主流商业组件为具象载体(Hadoop、Spark、Flink、Kafka、Hive、HBase、Iceberg、Atlas、Ranger、TensorFlow 等),它们共同构成一个完整的大数据产品家族;代码为实现示例,用于说明算法在工程系统中的落地方式。

weixin_49199313的博客 199

【信息科学与工程学】【数据科学】 第四十四篇 数据湖 系列一 数据湖的机制及特性6

Polaris 集群配置polaris:server:catalog:caching:maxEntries: 100000000 # 1亿条元数据缓存storage:sharding:shardCount: 1024 # 1024 个逻辑分片backend:自定义元数据分片(解决热点问题)// 基于一致性哈希的自定义分片// 虚拟节点i++) {// 动态扩容:添加新 backend 时,只有少量 key 需要迁移// 添加虚拟节点i++) {

weixin_49199313的博客 29

源码解析-- DolphinScheduler master server流程执行过程分析

海豚调度dolphinscheduler目前是Apache顶级项目,作为国内优秀的开源项目,它的架构设计理念会有很多值得我们学习和借鉴。 海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统 本文会包含如下内容: master server 流程执行过程分析 本篇文章适合人群:架构师、技术专家以及对任务调度非常感兴趣的高级工程师 本文以海豚1.3.5的源代码进行分析。 1. 相关概念 相关概念部分请看官方文档 流程定义:通过拖拽任务节点并建立任务节点的关联..

penriver的博客 2947

dolphinscheduler配置

dolphinscheduler使用hive,hadoop,spark,datax,python,scala修改添加的配置

终极指南:DolphinScheduler API完全解析与实战应用

Apache DolphinScheduler作为现代化的数据编排平台,其强大的API体系是开发者实现自动化任务调度的核心工具。通过RESTful API,您可以轻松集成DolphinScheduler到现有系统中,实现工作流的创建、监控和管理。本文将深入解析DolphinScheduler API的核心功能、最佳实践和实战应用场景,帮助您快速掌握这一强大的数据调度工具。 ## 🚀 快速上手:

gitblog_07878的博客 525

基于Python的携程景点评价爬虫与情感评分分析

摘要: 本项目通过Python技术栈实现携程景点评论的情感分析系统,包含数据爬取、文本预处理、情感评分和可视化分析全流程。使用requests抓取评论接口,jieba进行中文分词,SnowNLP计算情感得分(0-1),并通过词云、情感分布图呈现结果。典型分析显示72%评论为正面,负面反馈多涉及"排队久""票价贵"等问题。系统可辅助景点口碑管理,扩展方向包括多景点对比、BERT模型优化等。项目强调需遵守爬虫伦理,控制请求频率,适用于非商业用途的旅游数据分析。(150字)

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 977

无人机避障——4DMmvRadar三维点云坐标转换到无人机坐标系(三)

无人机避障——4DMmvRadar三维点云坐标转换到无人机坐标系(三)

weixin_45390670的博客 1869

Apache DolphinScheduler终极指南:如何构建高性能数据工作流平台

Apache DolphinScheduler是一个现代化的数据编排平台,专为处理复杂任务依赖关系而设计,提供低代码开发高性能工作流的能力。作为开源的数据调度系统,DolphinScheduler通过可视化界面和强大的API支持,帮助开发者轻松构建、管理和监控复杂的数据处理流水线。 ## 核心概念解析:理解数据编排的关键要素 在深入了解DolphinScheduler之前,让我们先掌握几个核心

gitblog_00845的博客 1004

Ubuntu 22.04 “软件与更新”装了NVIDIA驱动,WiFi等设备不见了

在Win10装了Ubuntu22.04的双系统,台式机里面有NVIDIA 3080Ti的独立显卡,Ubuntu默认使用的nouveau驱动,需要更换成NVIDIA相应的驱动,在软件和更新里面一键安装了NVIDIA-driver-535-server之后,发现wifi、蓝牙等设备消失了。这个问题的根源据说跟这个nouveau驱动有关,希望linux社区可以解决这个问题。命令安装后 sudo reboot就可以重新看到WiFi以及蓝牙等设备图标了。然后用U盘拷贝到不能上网的Ubuntu22.04系统上,利用。

me_ysd的博客 5855

Flet Map 的 PatternFit 详解:非实线描边图案如何适配折线与多边形边界

Flet Map(`flet-map` 包)允许开发者在地图上绘制实线、虚线和点线等多种描边图案。当一条折线或多边形边界的长度无法被虚线/点线图案的长度整除时,就会产生"最后一段对不齐"的视觉瑕疵。`PatternFit` 正是用来解决这一问题的枚举类型:它定义了五种策略,决定非实线描边图案如何被适配到目标线段上。本文将结合仓库源码,逐一讲解这五个枚举成员的含义、默认行为、底层序列化链路,并给出可

gitblog_00189的博客 686

AUTOSAR/汽车行业

AUTOSAR架构及汽车产业链相关介绍

m0_54254513的博客 1万+

SAP-HR 模块 PPOSE 的详细信息标签页增强

步骤1:T-CODE : SE11 创建一个名为 HRI9106 的结构 命名:HRI + 91 + 两位数字。人事管理 - 组织管理 - 集成新信息类型 - 将信息类型添加为明细范围中的标签页。步骤6:SE51 查看 7000屏幕,修改屏幕属性 让其更美观。步骤3:T-CODE : SM30维护 T777I 表。步骤5:PPCI 新建 7000屏幕用于显示。标签页 IT 开头 + 信息类型 9106。步骤2:T-CODE : PPCI。步骤4:T-CODE : SPRO。

常回来看看呀!! 1628

5分钟快速上手Apache DolphinScheduler:企业级分布式任务调度与可视化工作流编排终极指南

Apache DolphinScheduler作为一款现代化的数据编排平台,通过低代码方式帮助企业轻松构建高性能工作流,实现复杂任务的分布式调度与自动化管理。这款开源分布式任务调度系统专为大数据场景设计,能够将繁琐的数据处理任务转化为直观的可视化DAG编排,让数据管道管理变得简单高效。 ## 为什么选择Apache DolphinScheduler?企业级任务调度的五大核心优势 🚀 在当今数

gitblog_00384的博客 388

自动驾驶仿真(五)—— 基于Carsim、Prescan、Simulink的联合仿真

自动驾驶仿真五——基于Carsim、Prescan、Simulink的联合仿真1. 联合仿真流程2. CarSim联合仿真配置要点3. Prescan联合仿真配置要点4. Carsim、Prescan、Simulink联合仿真结果5. 参考学习的书目教材 博主前面的博文已经介绍了Carsim和Prescan各自与Matlab/Simulink的相关联合仿真应用实例,并且论述过几款软件各自的优势及用法,CarSim适合动力学模型的建立,PreScan适合行车场景的搭建,Simulink适合控制算法的设计及信号

zhudj08的博客 1万+

DolphinScheduler终极指南:快速上手分布式工作流调度平台

你是否曾为复杂的数据处理任务编排而烦恼?每天需要手动执行数十个ETL任务,还要担心任务失败、依赖混乱、监控缺失?今天,让我们一起探索Apache DolphinScheduler——这个现代化的数据编排平台,让你轻松实现工作流的可视化操作和智能管理。 Apache DolphinScheduler是一个开源的分布式工作流调度系统,专为大数据处理场景设计。它通过低代码的方式让你快速搭建复杂的数据处

gitblog_00315的博客 472

Altium Designer(AD24/25)导出DXF或DWG结构文件的方法

DXF(Drawing Exchange Format)和DWG(Drawing)是两种常见的CAD(计算机辅助设计)文件格式,常用于结构和硬件之间的沟通。本文介绍Altium Designer(AD24/25)导出DXF或DWG结构文件的方法。

fydar的博客 2332

基于 YOLOv26 的金属表面缺陷检测系统:智能视觉质检方案

摘要: 基于YOLOv26的金属表面缺陷检测系统采用深度学习技术,实现对划痕、裂纹、腐蚀等8类常见缺陷的自动化检测。系统通过数据增强预处理和YOLOv26模型的高精度识别能力,具备多类别分类、实时推理和强鲁棒性特点,适用于不同金属材质与光照条件。架构包含数据采集、预处理、YOLOv26检测和后处理模块,代码实现采用PyTorch框架,支持训练数据增强与标准化处理,为工业质检提供高效智能解决方案。

一键难忘的博客 589

如何快速掌握Apache DolphinScheduler:工作流调度系统的终极指南

Apache DolphinScheduler是一个现代化的数据编排平台,专为解决复杂任务依赖关系而生,让您能够通过低代码方式创建高性能的工作流。如果您正在寻找一个可靠的数据工作流调度系统,那么这篇文章将为您提供完整的入门指南和实战技巧。😊 ## 为什么选择DolphinScheduler?数据编排的新选择 在数据工程的世界里,工作流调度系统就像是数据管道的"交通指挥中心"。想象一下,您每天

gitblog_00895的博客 361

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

pdf-brain完整教程:5条命令从零到第一次语义搜索

pdf-brain 是一个运行在你自己电脑上的本地 PDF 与 Markdown 知识库,核心能力是基于 libSQL 向量索引的**语义搜索(semantic search)**,全程无需任何云 API。本教程带你用 5 条命令从零搭建,并完成第一次"按意思找内容"的检索。 > 💡 核心价值:**本地优先(local-first)**——文档不上传,向量不联网,零 API 费用。 ## 为

gitblog_00442的博客 261

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Apache DolphinScheduler 3.1.8 从零到一实战指南【集群部署、核心功能、告警集成、运维排错】一站式掌握!

本文提供Apache DolphinScheduler 3.1.8从零开始的实战部署与配置指南。详细讲解了集群环境准备、分布式部署步骤、核心功能(如租户管理、工作流定义)的使用方法,并重点介绍了如何配置邮箱预警设置以实现任务状态监控。此外,还涵盖了常见的运维排错技巧与性能调优建议,帮助用户一站式掌握该任务调度系统的核心运维技能。

weixin_29273849的博客 514

基于Spark的电商用户行为分析实战:从数据清洗到可视化全流程

在大数据时代,分布式计算框架是处理海量用户行为数据的核心技术。Apache Spark凭借其内存计算和DAG执行引擎,能够高效完成数据清洗、转换与聚合等复杂任务,为业务决策提供实时洞察。其核心价值在于将批处理能力与易用API结合,广泛应用于用户画像构建、流量分析和商品推荐等场景。本项目聚焦电商领域,通过模拟用户行为数据,详细演示了如何利用Spark RDD和DataFrame进行多维度分析,包括PV/UV统计、用户路径挖掘和热门商品识别,最终通过Web界面实现分析结果的可视化展示,为构建数据分析项目原型提供

Eric.Net的专栏 469

人工智能算法工程师成长

算法工程师成长

usa_washington的博客 197
上一篇: neo4j删除大规模数据
下一篇: 文档网址记录
keepandkeep
博客等级 码龄8年 380粉丝 34原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值