‌seatunnel-web二次开发

为什么选择‌seatunnel

       最早期公司采用datax做数据处理,性能、易用性上没任何问题,基于 datax的数据处理方案也已开源https://gitee.com/liujl1990/data-platform-2.0。2025年初公司决定引入‌seatunnel主要基于两点考虑,一是其除了支持离线数据处理也支持cdc的流式数据处理,未来针对业务系统的流式处理需要做一些研究;二是支持AI调度,这对于医院数据平台的宣传很有包装意义,https://github.com/ocean-zhc/seatunnel-mcp

        本人负责研究 seatunnel-web但前端基础薄弱,属于磨着石头过河,大家可以多交流。

 seatunnel部署 

        单机版的部署相对傻瓜式,参考官方文档部署 | Apache SeaTunnel,需要注意的是要与seatunnel-web的版本兼容,最新版本截止目前是1.0.3,兼容的seatunnel版本是2.3.8。

seatunnel-web部署        

部署步骤参考:GitCode - 全球开发者的开源社区,开源代码托管平台

本想用graalvm发布为exe文件,尝试了3天,解决了各种兼容性问题后,NoClassDefFoundError: org/ap
ache/seatunnel/api/table/factory/TableSinkFactory问题一直无法解决,最终放弃,有实现的小伙伴可加QQ联系。

二次开发内容

目的是封装seatunnel-web为独立可用的ETL管理用具,主要增加定时调度、任务分类、数据库的元数据管理。与公司现有数据平台融合实现ETL处理独立、数仓查询独立、业务拼接独立的三独模式,最终融合AI实现自动调度。gitee地址:https://gitee.com/liujl1990/seatunnel-web-ex,会及时发布最新状态。有兴趣的可一起。

进度列表:

1)  代码提交                                    (已完成)

1)实现数据的按时间段抽取改造   (已完成)

      详情参见:创作中心-优快云

2)增加任务分类     

3)实现元数据管理,方便查询

4)简化数据提取流程

互相交流

QQ群:970927379

        

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JAVA老刘

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值