兴业证券基于Apache DolphinScheduler的应用实践

文 / 兴业证券股份有限公司 刘洋  石良生  柳君  李致琪

本文来源于网络，如有侵权，请联系删除

任务调度平台，扮演着自动执行预设任务的重要角色，是业务开展过程中不可或缺的一环。随着业务规模的不断扩展，兴业证券每日需要进行数以万计的任务调度，因此，优化和提升任务调度平台的性能与稳定性至关重要。本文通过分析兴业证券自身任务调度现状，对分布式任务调度技术进行解析与探索，并总结了统一分布式任务调度平台的实践经验。

兴业证券金融科技部

总经理助理    刘洋

建设统一分布式任务调度平台的必要性

在兴业证券早期，任务调度平台由项目组各自构建并维护，这在业务规模未产生爆发式增长前，尚能够满足日常的业务需求。但随着近年来业务量的迅猛增长，这种分散式管理的弊端开始逐渐显现，导致开发成本日益增加、运维复杂度与日俱增。与此同时，由于各调度平台自身功能不完善而导致的问题也日益突出。任务依赖管理及任务并发控制能力上的欠缺，给业务的正常开展带来了一定的隐患。基于以上问题，现有的任务调度平台迫切需要进行统一和整合，以提升系统的稳定性和高效性。通过构建一个统一分布式任务调度平台，技术人员可以实现任务集中管理、统一监控和高效运维，从而降低运维成本，提高开发效率，确保数据的准确性和一致性（见图1）。

图1  分散式部署VS集中式部署

平台的建设目标

经过对现有任务调度平台的优缺点进行调研分析后，统一分布式任务调度平台被期冀于实现以下目