网易邮箱DolphinScheduler迁移实战：从部署到优化，10倍效率提升的内部经验

——企业级调度系统平滑迁移指南，附避坑全流程！

随着互联网的飞速发展，电子邮件作为重要的信息交流工具之一，其数据处理和任务调度的需求日益增长。网易邮箱作为国内领先的电子邮件服务提供商，为了更好地应对海量数据的处理和任务调度挑战，引入了DolphinScheduler平台，并在实际应用中进行了深入的部署与优化实践。

分享嘉宾：

雷宝鑫，网易邮箱 大数据工程师

项目背景与选型

网易邮件发展史

网易邮箱自1997年推出以来，经历了多个重要发展阶段，从126邮箱、163邮箱到邮箱大师等，不断丰富产品线和服务内容。如今，网易邮箱已构建起涵盖免费邮箱、企业邮箱、VIP邮箱等在内的多元化业务体系，为海量用户提供稳定、安全、高效的邮件服务。

从上图中可以看到，2023年网易邮箱引入了Apache DolphinScheduler。

数据应用场景

在网易邮箱的日常运营中，面临着海量的业务日志数据处理需求。这些数据需要进行永久冷备以及大于半年的热备存储，并且业务日志按离线（HDFS）和实时（ClickHouse）分别处理落盘。同时，为了保障业务的可用性，核心收发信链路以及登录用户验证机制等环节都需要高效的数据处理和任务调度支持。

选型背景与DolphinScheduler优势

面对日益增长的数据处理需求，网易邮箱团队对多个开源调度平台进行了选型对比。DolphinScheduler凭借其支持多种调度机制、稳定性强、易用性高以及功能丰富等优势脱颖而出。它能够支持多种数据场景，满足网易邮箱复杂多样的任务调度需求。

平台部署与使用现状

基于DS的升级改造之路

网易邮箱团队在引入DolphinScheduler平台后，开启了一段持续优化改进的升级改造之路。从前期的调研选型对比，到针对使用过程中遇到的问题进行解决，再到进行二次开发持续优化平台的易用性和使用体验，团队不断推进平台的完善。2023年3月确定选型后，于2023年12月完成基于告警功能的初步改造，并在2024年3月实现稳定运行与持续探索。