基于springboot3.0的ETL数据处理方案

 平台背景     

      13年开发经验的医疗老兵，7年医院数据研究，参与了多家三甲医院数据交付，过往产品+帆软报表的交付模式交付周期长、覆盖面小、维护难度大，无法充分发挥医院数据价值。 凭借多年架构功底及业务经验历经三版打造了极致性价比的医院数据平台，完美解决了医院数据资产管理与利用问题，实现了低成本下360度无死角的医院数据利用。

       借助该数据平台可有效协助医院长期、低成本管理利用数据，实现数据资产价值最大化，全面满足科研、科室经营、上报、临床统计等需求。

        其他行业原理雷同。

预期目标

      医院数据问题探索了5年时间，一直表现为交付困难、价值无法凸显，反思中坚信数据问题为个性化问题，无法采用传统的产品形式推进，也无法借助帆软类报表完美解决且操作麻烦工期长。如果能有一套符合医院实际的数据平台+业务度集中的开发人员，即可实现数据的高效利用。

       预期目标为：简单数仓配置化解决4成数据利用，基于通用数据接口解决3成数据利用问题，基于低代码平台+通用数据接口解决剩余个性化模块问题。要求基础报表简单配置后即可呈现效果，耗时不超过30分钟，且具备强力复用性。基础模块开发成本压至市场价的五分之一，且开发效率不超过1个月，服务达到行业天花板。

       行业目标为产品与个性化分开发展，实现产品快推、个性化变负担为利润。

 平台成果

1）作为区域医疗数据平台，实现了深圳某区域70多家社康的数据管理，做到了机构需要的各类数据场景今天提今天改的高效、无死角服务。

2）作为医院数据平台，协助临床科研、专科经营、日常统计上报管理。某门诊量4000左右的三甲医院基于心脑血管疾病单血脂规范管理一项年增收400多万。慢性肾脏病的肾病专科经营助力科室突破为省重点专科。

3）协助创建各类知识库、协助AI完成基础数据保障等。

  发展历程

（平台1.0介绍）

       开源代码地址： https://gitee.com/liujl1990/etl-platform。

       2023年开发了第一代医院数据平台，采用springboot2.x+springbatch的技术框架。借助阿里巴巴数据中台思维，初代产品在流式处理上做了过重处理，加上框架选型问题，导致数据提取较慢，数据利用效率不达标。但流式处理简单易用，技术门槛低，适合作为小规模数据的管理方案。

（平台2.0）

      开源代码地址：https://gitee.com/liujl1990/data-platform-2.0

       第一代产品虽然不那么完美，但借助它探索明白了整体的开发交付流程，及高效数据利用方案。2024年基于第一代产品经验，迭代出的2.0，采用springboot2.x+datax-web+stream-load/insert-select的技术模式，数据库方面增加了国产分布式数据库doris，并奉为主力选型。月度数据提取效率达到了秒级，提取步骤日志也更清晰完善。基于该平台实现了深圳**区域化数据管理，深圳**医院慢病专科经营管理。实践效果非常好，摆脱了历史以来医院数据高成本、难交付、难管理的行业困扰，首次实现了一人可打理三家大客户、问题日解决的低成本、高效服务。

（平台3.0）

       开源代码地址：https://gitee.com/liujl1990/data-platform-3.0

       随着2.0版本的稳定运行，3.0的版本的开发也有序展开。2.0产品在交付效率、覆盖范围、稳定性、易用性上已达到行业天花板，所以3.0的整体实现思路没有太大改变，主要改动以下几点：

1）底层技术升级。采用springboot3.x+jdk17,excel处理全面采用easyexecl。动态数据源、分页查询、接口发布、监控、日志等都有做性能优化提升。

2）组件化。ETL数据处理、数仓查询、基础配置、医院应用分开独立发展。ETL处理方案除datax外，增加seatunnel-web组件，为介入AI调度做准备，独立部署与应用分离互不影响。数仓设置专库、专模块，专门提供标准数据查询管理。医院业务模块细分为可复用的产品组件，不可复用的现场个性化组件。组件间接口调用采用dubbo3.0。