数据之路

点亮 ⭐️ Star · 照亮开源之路**GitHub:**https://github.com/apache/dolphinscheduler版本发布2022/8/102022 年 8 月 10 日，Apache DolphinScheduler 在经过 3.0.0 alpha、3.0.0-beta-1、3.0.0-beta-2 不断验证之后，终于迎来了社区期盼已久的第三个大版本！3.0.0 正式版本发生了自发版以来的最大幅度变动，新增了众多全新功能和特性，旨在为用户带来全新的体验和更多价值。...

作者简介：wade，叽里呱啦攻城狮一枚，曾就职于苏宁，同花顺等，9个月大粿粿的爸爸。 前言 “工欲善其事，必先利其器” 在2019年进行数仓建设时，选择一款易用、方便、高效的调度系统被摆在非常突出的位置，感谢前同事马振洋同学和杨孟霏同学的付出，最终有缘选择了DolphinScheduler的前身EasyScheduler (后面使用ES代替)，版本为1.1，差不多成了第一批在生产上使用海豚调度产品的吃瓜群众，同时我们也在密切关注社区的变化，并成功...

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在近期发布了其第一个官方 Docker 镜像。下面就带大家来快速试用 DolphinScheduler官方推荐以 docker-compose 的方式启动，这种方式需要先安装 docker-compose , docker-compose 的安装网上已经有非常多的资料，请自行安装即可。1、下载源码 zip 包- 请下载最新版本的源码包并进行解压# 创建源码存放目录mkdir -p /opt...

|本文编辑：朱桐新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 30 多位小伙伴的贡献与努力下于发布了 1.3.4 版本，1.3.4 作为 1.3.x 的 bug 修复版本，本次共修复了 1.3.3 发现的 10 多处 bug，其中多数 bug 是测试伙伴在极端环境下发现的。1.3.4 重要的修复需要关注下面这个：1个重要修复现象：任务实例(taskInstance)状态更改错误：[#4084][server] fix tas...

经 10000+ 开发者公开票选，20+专家评审、10+ 主编团打分，历经数月打磨，11 月 19 日，由InfoQ 发起并组织的【2020中国技术力量年度榜单评选】结果正式揭晓。2020 年度十大开源新锐项目、2020 年度十大开源杰出贡献人物、2020 年度十大云原生创新技术方案以及 2020 年度十大云原生行业落地典范四大榜单，其中 2020 年度十大开源新锐项目囊括了最近三年内，开源领域活跃度最高、最具创新性和发展潜质的项目，年度开源新锐项目评选受欢迎程度更是成为四大榜单之最。Apa...

1 缘起大概是今年4月份的时候，忽然间看到ShardingSphere毕业的消息，其中也顺带提到了我们的主角DolpshinScheduler,于是去Github看了看，堆积的PR不多，在Apache孵化器中的JAVA项目中活跃度居然排行第一！对于我来讲，活跃度是我判断社区是否能够长久发展的一个很重要的因素，也是决定我是否要参与到贡献中来的一个点，我参与的apache项目也是有好几个了，也有遇到过那种PR堆积特别多，提交了PR长久没人review，...

Apache DolphinScheduler 社区邮件列表最近通告了 2 个漏洞，考虑到有很多用户并未订阅此邮件列表，我们特地在此进行情况说明：CVE-2020-11974[1]漏洞 (CVE-2020-11974[1]) 是与 mysql connectorj 远程执⾏代码漏洞有关，mysql connectorj 漏洞详情请参见：https://securityonline.info/mysql-connectorj-remote-code-execution-vulnerability/

还在为如何部署Apache DolphinScheduler 发愁么？自上篇《美女 Committer 手把手教你使用海豚调度》的视频发布后，受到社区伙伴们的热烈欢迎。但个别小伙伴在部署这块还是遇到了一点儿小麻烦，本次特地再次邀请美女 Committer - 陈兴春为社区录制如何部署 DolphinScheduler 单机版本，之所以是单机版本，是因为想让大家能够尽快感受 DolphinScheduler 的能力，让小白也可以轻松部署 DS ，充分贯彻 DolphinScheduler 的 Slogan：调

Apache DolphinScheduler 是一个分布式去中心化，易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。近日，伯毅同学给社区贡献了工作流核心表结构的剖析文章，非常细致，喜欢的伙伴请转走1. 工作流总体存储结构在 dolphinscheduler 库中创建的所有工作流定义(模板)都保存在 t_ds_process_definition 表中.该数据库表结构如下表所示:序号字段类型描述1id

在这个金灿灿的收获季节，经过ApacheDolphinSchedulerPPMC们的推荐和投票，ApacheDolphinScheduler收获了5位新Committer。他们是：nauu(朱凯)、Rubik-W(温合民)、gabrywu、liwenhe1993、clay4444。对于成为Committer，小伙伴们说道：朱凯：非常荣幸能够成为DolphinSchedule的Committer。这既是一份喜悦，也是一份责任。我将以终为始，继续打怪升级，助力DS早日毕业...

Apache DolphinScheduler社区于2020-05-26 19:30进行了社区情况介绍和新特性及Roadmap路线分享，本次线上直播有700多人在线，没来得及观看的伙伴请收看回放呐具体内容请参见回放地址：【Apache DolphinScheduler新特性及Roadmap】DolphinScheduler(Incubating) 1.3.0新特性及Roadmap路线直播内容介绍本次直播主要包括以下内容：1、DolphinScheduler社区情况介绍2、缘何.

原创 史少锋@Kyligence apachekylin 前天01 背景Apache Kylin 是一个支持海量大数据的在线分析引擎，需要离线或流式地从Apache Hive, Apache Kafka加载数据。通常当上游数据准备好以后，用户需要使用Kylin的Web界面或API触发以生成数据加载的任务。为了让整个工作流自动化起来，需要结合一些任务调度平台，如Oozie，Linux cront...

集群部署(Cluster)DolphinScheduler集群部署分为后端部署和前端部署两部分：1、后端部署1.1 : 基础软件安装(必装项请自行安装)PostgreSQL (8.2.15+) or Mysql (5.6或者5.7系列) : 两者任选其一即可JDK (1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量ZooK...

单机部署(Standalone)DolphinScheduler单机部署分为后端部署和前端部署两部分：1、后端部署1.1 : 基础软件安装(必装项请自行安装)PostgreSQL (8.2.15+) or Mysql (5.6或者5.7系列) : 两者任选其一即可JDK (1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量Z...