- 博客(668)
- 资源 (3)
- 问答 (29)
- 收藏
- 关注
RSS订阅
原创 数据平台调度升级改造 | 从Azkaban 平滑过度到Apache DolphinScheduler 的操作实践
Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的，但是在用户层面、技术层面都存在一些痛点问题难以被解决。比如在用户层面缺少任务可视化编辑界面、补数等必要功能，导致用户上手难体验差。在技术层面，架构过时，持续迭代难度大。基于这些情况，经过竞品对比和调研后，Fordeal数据平台新版系统决定基于Apache DolphinScheduler进行升级改造。...
2022-06-16 18:00:04
1235
原创 结项报告完整版 | 为 Apache DolphinScheduler 添加 gRPC 插件
过去两周，我们对开源之夏活动中表现优异的开发者们进行了简单的采访，初步粗略地了解了一下他们的开发过程和心得体会。今天，我们将通过同学们的完整结项报告，深入了解项目的开发技术细节，希望能够帮助大家更好地了解 Apache DolphinScheduler 项目的最新进展。
2025-11-19 11:44:46
658
原创 实战干货：Apache DolphinScheduler 参数使用与优化总结
本文基于海豚调度3.1.9版本将系统梳理 DolphinScheduler 中各类参数的使用方法，涵盖内置参数、衍生函数、日期计算、全局变量设置以及跨任务参数传递等核心场景，助你彻底掌握参数使用的“正确姿势”。
2025-11-12 14:24:39
575
原创 Apache DolphinScheduler 新增 gRPC 任务插件 | 开源之夏成果总结
今年的开源之夏活动已接近尾声，Apache DolphinScheduler 社区的开发者在经过漫长的开发过程收获了自己的成果，同时为 Apache DolphinScheduler 带来了全新的任务插件 gRPC。
2025-11-12 11:50:59
811
原创 Apache DolphinScheduler 3.3.2 正式发布！性能与稳定性有重要更新
本次版本重点围绕 性能优化、稳定性增强、文档完善与关键问题修复 展开，为广大用户带来更加顺畅、可靠的数据工作流编排体验。
2025-11-05 11:48:40
377
原创 小白指南：Apache DolphinScheduler 补数据功能实操演示
最近使用 Apache DolphinScheduler 调度任务，不可避免地使用到【补数据】功能，经过不断尝试，终于成功运行了【补数据】功能，以此帖记录。
2025-10-29 14:38:40
375
原创 Apache DolphinScheduler 9 月进展：工作流/任务执行等问题修复，性能再升级
本月聚焦功能修复与性能优化，修复工作流计划设置、HDFS 存储启动等关键问题，优化数据库索引、Quartz 数据源配置等提升性能，11 位贡献者共完成多项 PR，保障系统稳定高效运行。
2025-10-29 11:43:23
984
原创 白鲸开源数据基建平台荣登“创客北京 2025”企业组TOP150，共同助 Agentic AI 行业变革
近日，第十届“创客中国”北京市中小企业创新创业大赛暨“创客北京2025”创新创业大赛结果揭晓，北京白鲸开源科技有限公司凭借“白鲸开源-Agentic AI 时代下的数据基础设施平台”，荣登企业组 TOP150，并获得大赛组委会颁发的获奖证书。
2025-10-23 16:23:43
373
原创 DolphinScheduler依赖机制、Open-Falcon告警推送与监控的优化实践
本文聚焦某大数据团队的实战优化经验，系统阐述该团队的核心实践：针对任务依赖机制的源码级改造（新增节点级别判断逻辑）、与Open-Falcon的告警对接升级（实现信息精简、优先级分级与分群推送），以及组件监控体系的构建（含节点存活检测与自愈能力）等。
2025-10-23 16:16:40
921
原创 GSoC 成果公布！印度开发者为 DolphinScheduler 引入通用 OIDC 认证，实现无缝安全访问
今年的 GSoC 已近尾声，在这场代码开发盛宴中，Apache DolphinScheduler 的开发者们积极参与，取得了一项对用户意义重大的成果——引入通用 OIDC 认证，实现无缝安全访问。
2025-10-23 10:42:00
857
原创 DolphinScheduler 3.1.9 单机版重启后，项目、流程定义等数据全部丢失
本文将介绍 Apache DolphinScheduler 的 Worker 负载均衡，含加权随机、平滑轮询、线性负载（默认）三种算法，及配置修改、Worker 权重与预热机制，并细述各算法原理。详情可参考文末源文档地址。
2025-10-15 18:46:28
361
原创 吃透 DolphinScheduler 负载均衡：3 大核心算法 + 底层逻辑全解析
本文将介绍 Apache DolphinScheduler 的 Worker 负载均衡，含加权随机、平滑轮询、线性负载（默认）三种算法，及配置修改、Worker 权重与预热机制，并细述各算法原理。详情可参考文末源文档地址。
2025-10-15 18:31:22
953
原创 # 3.1.8＜3.2.0＜3.3.1，Apache DolphinScheduler集群升级避坑指南
3.3.1版本机器启动方式变得更复杂了，但是集群功能变得更好用了，资源利用率提高了。
2025-10-10 11:31:51
943
原创 （二）3.1.9 生产“稳”担当：Apache DolphinScheduler Worker 服务源码全方位解析
本文是 Apache DolphinScheduler 3.1.9 版本源码解读的第二篇：Worker Server 启动流程源码解读以及相关流程设计。结尾处附有相关流程图，供大家参考。
2025-09-25 10:21:41
1220
原创 （一）3.1.9 生产“稳”担当：Master 服务启动源码全方位解析
在现代数据驱动的企业中，工作流调度系统是数据管道（Data Pipeline）的“中枢神经”。从 ETL 任务到机器学习训练，从报表生成到实时监控，几乎所有关键业务都依赖于一个稳定、高效、易扩展的调度引擎。
2025-09-24 10:05:36
416
原创 白鲸开源“创客北京2025”再摘殊荣，聚焦Agentic AI时代数据基础设施建设
近日，“创客北京2025”创新创业大赛海淀区级赛圆满落幕，经过最终比拼，北京白鲸开源科技有限公司凭借 「Agentic AI时代下的数据基础设施平台」（白鲸数据集成调度平台/WhaleStudio） 脱颖而出，荣获企业组二等奖。
2025-09-18 17:33:13
154
原创 Ubuntu 22 下 DolphinScheduler 3.x 伪集群部署实录
本文记录了在 Ubuntu 22.04 上部署 Apache DolphinScheduler（伪集群模式）的完整过程，涵盖环境准备、安装配置、数据库初始化、用户创建及服务启动等步骤。适合个人学习、功能验证或测试使用。
2025-09-18 17:17:33
918
原创 教你数分钟内创建并运行一个 DolphinScheduler Workflow！
本文就主要探讨如何在 ApacheDolphinScheduler 上更好地玩转 Workflow， 以帮助大家更好地管理数据处理任务。
2025-09-18 16:47:22
683
原创 （二）一文读懂数仓设计的核心规范：从层次、类型到生命周期
本文为系列文章第二篇，详细剖析了数仓公共设计所遵循的规范，包括层次调用规范、数据类型规范、字符串等数仓设计规范。
2025-09-10 14:47:39
1067
原创 码住！DolphinScheduler 常见故障 “急救指南”，一文解决服务、调度、连接等难题
本文将从架构层面深入分析常见故障类型，提供详细的排查思路和解决方案，帮助运维人员和开发者快速定位并解决问题。
2025-09-10 14:36:44
935
原创 必看！Apache DolphinScheduler 任务组因 MySQL 时区报错全解析与避坑指南
在项目上实际使用了 DolphinScheduler 一段时间后，我遇到了任务组功能因为 MySQL 时区的原因报错的问题。经过探索这个问题已经解决了，解决思路分享如下。
2025-09-10 14:22:12
378
原创 K8s集群+Rancher Server：部署DolphinScheduler 3.2.2集群
本文手把手演示了如何在 K8s + Rancher 环境中快速拉起一套生产可用的 Apache DolphinScheduler 3.2.2 集群。全文围绕“镜像加速、依赖本地化、存储持久化”三大痛点展开，附有详细的代码解析，收藏细看吧！
2025-09-02 16:55:17
1237
原创 【硬核干货】把 DolphinScheduler 搬进 K8s：奇虎 360 商业化 900 天踩坑全记录
过去 3 年，我们团队把部分调度任务从 Azkaban 逐步迁移到 DolphinScheduler，并开展了 K8s 容器化。今天把踩过的坑、攒下的经验一次性复盘，建议收藏！
2025-09-02 16:44:11
799
原创 【新版发布】Apache DolphinScheduler 3.3.1 正式上线：更稳、更快、更安全！
我们迎来了 Apache DolphinScheduler 的又一次重要更新——3.3.1 版本正式发布！🎉
2025-08-27 15:32:14
1382
1
原创 DolphinScheduler API与SDK实战：版本管理、系统集成与扩展全指南
本文详细介绍了Apache DolphinScheduler的RESTful API接口体系及其在企业系统集成中的应用。内容涵盖API架构设计、核心控制器模块、统一响应格式、认证授权机制、错误处理体系以及Swagger接口文档。同时深入探讨了Java SDK集成开发指南，包括环境准备、核心API接口、工作流编程式创建与管理，以及与企业现有系统的集成方案。文章提供了丰富的代码示例和最佳实践，帮助开发者全面掌握DolphinScheduler的API开发与集成能力。
2025-08-27 14:58:27
1175
原创 下周二见！奇虎360数据专家亲授：DolphinScheduler on K8s 生产级部署避坑指南！
8 月 Apache DolphinScheduler 线上 Meetup 特别邀请到上海奇虎科技有限公司的数据专家王远朋，现场拆解他在一线生产环境中完成 DolphinScheduler on K8s 部署改造的全过程，带来从踩坑到调优的硬核实战经验，助你一次把“云原生调度自由”收入囊中。
2025-08-20 11:01:02
312
原创 如何批量杀死 Apache DolphinScheduler 运行中的工作流？
在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，遇到了任务过多僵死的问题，解决思路分享如下。
2025-08-20 10:04:25
456
原创 从数据血缘到AI Agent：天翼云 × DolphinScheduler 的云上调度新篇章
在数据驱动与智能化的浪潮下，数据调度平台的价值正在被重新定义。
2025-08-13 16:36:24
883
原创 Apache DolphinScheduler 7 月社区月报 | 关键修复与性能优化全面推进
7 月份，Apache DolphinScheduler 社区持续高能迭代，多个核心模块迎来重要修复与优化。在 K8S 环境下解决了 PodIP 变化导致无法重新连接 Zookeeper 的问题，依赖任务、变量池、COS 资源管理等功能均获关键修复，提升了系统稳定性与可用性。
2025-08-13 16:17:45
1011
原创 日均处理 PB 级数据，基于 DolphinScheduler 的离线数据治理平台实现精准血缘追踪
本文介绍了基于 DolphinScheduler 的离线数据治理平台，解决了任务依赖黑洞和扩展性瓶颈问题。通过 YAML 动态编译和血缘自动捕获，实现了高效的任务依赖管理和数据追踪。平台使用 Neo4j 图数据库进行血缘存储，支持秒级影响分析和根因定位。此外，结合自研高性能导入工具，大幅提升数据传输效率。
2025-08-06 15:12:49
446
原创 Apache DolphinScheduler DataX 数据集成：新手入门全攻略
在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些使用Datax做数据集成的实际经验，分享如下。
2025-08-06 14:48:34
562
原创 使用 Apache DolphinScheduler 构建和部署大数据平台，将任务提交至 AWS 的实践经验
今天给大家分享的技术思路是基于3.1.1版本进行的二次开发，增加了一些社区版本中未包含的新功能。
2025-08-06 10:23:25
765
原创 新手教程：用外部 PostgreSQL 和 Zookeeper 启动 Dolphinscheduler
本文将带你一步步通过外部PostgreSQL和Zookeeper来启动Apache DolphinScheduler。
2025-07-31 16:28:19
1254
原创 一文教会你基于 Rainbond 部署 DolphinScheduler 高可用集群
本文描述通过 Rainbond 云原生应用管理平台 一键部署高可用的 DolphinScheduler 集群。
2025-07-31 16:16:35
723
原创 【直播预约】天翼云如何通过 DolphinScheduler 实现大数据自动化与全链路血缘，探索实践亮点！
在本期技术分享中，我们将邀请天翼云研发专家，带来关于天翼云翼MR加载Apache DolphinScheduler的实践经验和社区贡献的精彩演讲。
2025-07-31 15:58:10
221
原创 二次开发必看！DolphinScheduler 3.1.9 开发环境搭建指南
本文结合真实案例，详细介绍 DolphinScheduler 3.1.9 的二次开发环境配置流程，希望为有定制化开发需求的用户提供实用、可靠的参考。
2025-07-22 15:23:43
848
原创 从批到流，Zoom 基于 DolphinScheduler 的流批统一调度系统演进
本文将结合 Zoom 实际业务落地过程中的经验，深入解读这一系统的设计演进、关键问题应对与未来规划。
2025-07-22 14:27:37
940
新一代大数据任务调度 - Apache DolphinScheduler介绍&Roadmap
2020-11-24
Apache DolphinScheduler高效支撑企业大数据核心业务 - 代立冬.pptx
2020-11-30
开源时代
2021-03-31
Apache DolphinScheduler的全球交流工具是？
2021-01-28
DolphinScheduler Docker 镜像仓库在？
2021-01-26
工作流定义执行后 为啥需要到工作流实例 再走任务实例？ 能否直接省去工作流实例？
2021-01-04
欢迎大家来社区提问哈，看看遇到了什么问题？
2020-12-31
想参与贡献，不知道该如何参与？
2020-12-21
上游依赖未成功，下游任务可以一直等待么？
2020-12-14
Apache DolphinScheduler准备什么时候申请毕业，成为顶级项目呢？
2020-12-08
哪里有关于 DolphinScheduler 的分享(PPT | 视频)？
2020-12-08
想参与社区贡献，不知如何参与？
2020-12-04
DolphinScheduler支持mysql 8 作为数据库么？
2020-12-03
DolphinScheduler单机部署有教程么？
2020-11-30
在哪里下载DolphinScheduler安装包呢？
2020-11-27
为什么要参与开源贡献？
2020-11-27
Python 任务如何设置 Python 的版本？
2020-11-26
DolphinScheduler流程定义有几种启动方式
2020-11-26
DolphinScheduler的用户案例
2020-11-25
DolphinScheduler 主要能力体现在哪些方面？
2020-11-25
DolphinScheduler有多少家公司在生产上使用？
2020-11-25
DolphinScheduler系统支持哪些邮箱？
2020-11-23
DolphinScheduler 服务介绍及建议运行内存
2020-11-23
遇到问题，如何得到社区的帮助
2020-11-23
DolphinScheduler项目的官网地址是？
2020-11-23
如何参与DolphinScheduler社区？
2020-11-23
如何在线试用Demo？
2020-11-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人