用户案例 | Apache DolphinScheduler 离线调度在自如多业务场景下的应用与实践

用户案例 | 自如

随着自如业务的快速发展，不断增长的调度任务和历史逾万的存量任务对平台稳定性提出了更高的要求。同时，众多非专业开发人员也需要一种更为“亲民”的调度平台使用体验。

如何满足这些日渐凸显的需求对自如大数据平台的开发团队来说，无疑是巨大的挑战。团队经过深入的研究和对比，发现Apache DolphinScheduler是一个能够满足自如当前所有核心需求的项目。

至此，团队开始引入Apache DolphinScheduler，并在此基础上进行了一系列的改造和优化，其中包括自动生成SQL血缘解析调度，支持Ambari管理Apache DolphinScheduler，以及端到端调度组件的可用性监控等功能，从而更好地满足企业内需求。

本文将详细描绘Apache DolphinScheduler在自如中的应用以及演变过程。

作者简介

陈卓宇，自如大数据平台运维，负责自如离线数据调度，Apache StreamPark PPMC，Apache DolphinScheduler Contributor

业务挑战

1. 复杂的业务场景：自如的数据处理业务场景丰富多样，涵盖了To C和To B的品质居住产品、智慧生活服务、智能家装家居、智慧社区组织运营四大板块。
2. 大量的历史存量任务：自如历史累计的离线任务数量庞大，目前累计离线调度任务已达到1万+的规模，这对平台的稳定性提出了非常高的要求。
3. 离线任务增量大：目前，自如仍处于业务飞速发展的阶段，离线任务的数量持续增长，这对平台的扩展性和处理能力提出了极高的挑战。
4. 非专业开发人员的易用性需求：自如的数据使用人员主要包括运营人员、分析师、产品BP等非专业开发人员，他们对于配置调度的易用性要求严格，需要能支持SQL化操作，以及用户友好的配置界面，以达到"平民化"的使用体验。

解决方案

自如对调度技术选型的核心诉求

自如对于调度技术的选型诉求可以从两个方面进行剖析：一是用户层面，二是技术运维层面。

在用户层面，我们的用户期望平台能提供：

1. 简单易用的操作方式：使用户能快速上手，高效地进行需求逻辑开发。
2. 丰富的实践案例：供用户参考和学习，助力他们更好地理解和使用平台。

在技术运维层面，我们的开发和运维团队期望平台能提供：

1. 通用的技术栈：便于进行二次开发，快速地将项目集成到自如的企业生态中。
2. 丰富的组件：支持多种多样的任务类型，满足各种业务需求。
3. 优秀的架构设计：确保项目具有高可用性、易扩展性以及支撑海量任务调度的能力。
4. 活跃的开源社区：遇到问题时，团队能够便捷且迅速地从社区获得必要的帮助。

针对上述的核心诉求，自如团队对行业内的所有相关项目进行了深入的调研，并最终发现，Apache DolphinScheduler是唯一一个能满足自如团队所有核心诉求的项目。因此，我们选择了Apache DolphinScheduler2.0.6版本作为自如的离线调度技术解决方案。

架构设计

目前，自如已经成功地通过内部研发构建了一套可供全集团使用的大数据平台。为了进一步满足离线数据仓库这一垂直领域的需求，自如选择使用Apache DolphinScheduler进行集成与扩展。这一改进旨在提升整体平台的能力，从而让其能够为集