中电信翼康基于Apache Dolphinscheduler重构“星海·济世医疗数据中台”实践经验分享

文章作者：尚志忠

编辑整理：曾辉

行业背景

随着大数据、云计算、5G、人工智能等技术的快速发展，以及医疗信息化建设的不断深入，数据中台作为打通医疗数据融合壁垒、实现数据互通与共享、构建高效数据应用的关键信息平台，正逐渐成为推动医疗行业数字化转型和创新发展的重要力量。

星海·济世医疗数据中台介绍

中国电信依托多年行业积累，定制打造医疗行业数据中台，以夯实卫生健康信息化新基建能力为目标，赋能行业客户，深化数据集成治理与开发应用能力，推进健康医疗大数据应用发展，充分释放数据价值。

星海·济世医疗数据中台以“湖仓一体、流批一体”技术为核心，围绕健康医疗数据在集成、存储、治理、建模、分析、挖掘、服务、应用、流通等各个环节的需求，构建数据全生命周期管理的能力平台。

关于数据处理中任务调度的思考

在医疗行业的数据处理过程中，存在着以下常见的问题：

• 复杂的数据处理逻辑与流程未能实现统一的管理和调度，数据处理流程长，依赖关系错综复杂，不易于维护和使用，同时影响工作效率，间接提高了使用数据的成本。

• 传统的调度工具支持的组件有限，不能满足在医疗行业中多场景多种异构数据源的数据处理和使用，且各种数据处理逻辑和关系不能够可视化管理，只依赖脚本和定时任务不足以支撑目前的业务发展，不能可视化的反应任务之间的依赖关系，增加了业务处理的复杂性。

• 多系统之间的定时任务缺乏统一的调度机制，这些任务可能由不同系统的不同团队开发和维护，导致资源浪费和运维成本上升。缺乏统一的调度平台，使得运维人员需要手动监控和管理这些任务。

基于任务调度和管理相关的以上问题，我们认为一个平台级的产品必要要有一款优秀的调度工具，不仅要具备基于时序的主动触发能力和基于事件的被动触发能力，同时要能够支持丰富的组件方便数据处理任务的开发，还需要具备运行时监控能力和分布式的架构下资源调度及均衡能力。

经过不断的学习和探索使用发现Apache DolphinScheduler 调度器在处理以上问题的过程中，有明显的优势。

技术特点及优势

技术特点

Apache DolphinScheduler 是一个分布式易扩展的带有强大可视化 DAG 界面的新一代工作流调度平台 ，立项之初即确立了使命 —— “解决大数据任务之间<