大家好,我叫杨佳豪,来自于太美医疗。今天我为大家分享的是Apache DolphinScheduler在太美医疗的应用实践。今天的分享主要分为四个部分:
- 使用历程及选择理由
- 稳定性的改造
- 功能定制与自动化部署
- 运维巡检与优化
使用历程及选择理由
公司介绍
我们是一家专注于生命科学产业的运营平台公司,致力于提供医疗行业解决方案。
作为一家基于AI大数据云平台的药品全生命周期解决方案商,我们提供从药物研发到上市的全流程服务。我们的服务范围涵盖医药研发、药物警戒、医药预警等多个领域。
服务与技术平台
在提供服务的过程中,特别是在药物警戒服务方面,我们依赖数据的调度及ETL清洗,这让我们与Apache DolphinScheduler结缘。我们的平台架构底层基于Hadoop生态体系,负责大数据的开发、调度,并最终输出相关的报表和接口服务。
在调度平台方面,我们采用了Apache DolphinScheduler和Airflow,其中Airflow是较早的大数据开源调度平台之一。
为何选择DolphinScheduler
选择Apache DolphinScheduler作为我们的技术平台是在2020年一个医药营销平台项目开始时做出的决策。
我们对Airflow、Azkaban和Apache DolphinScheduler进行了综合比较和验证。考虑