kettle-manager

kettle-manager是一款基于kettle的web管理工具,专为解决大量job管理难题而设计。该平台已在生产环境中稳定运行多年,支持Oracle和MySQL数据库。新版本0.3.0优化了作业结束功能,增加了作业日志级别设置、作业复制等功能,提供极速体验版。平台部署简单,提供集成安装包,支持快速部署和配置。用户可通过平台进行作业调度、实时日志查看、参数设置等操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

平台简介

出发点

专门为kettle这款优秀的ETL工具开发的web端管理工具。

kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用的都是使用客户端操作管理,但问题是当投入生产环境使用时,动辄上百或几百个job需要管理,这时在使用客户端管理已经很难完成了。我所知道的解决方案有用命令行的调用的,操作麻烦,总之还是很难用啦,还有就是开发web端管理工具,kettle自带了一个web端管理工具,界面极其简陋不说,还很难用,基本无法投入生产环境使用,其他没留意到还有没有较好对众多job进行管理的工具。

基于以上情况,和我近四年的kettle定制开发与使用经验。我设计并开发了这款kettle web端管理工具。

一些说明

  1. 本平台初版已经投入使用三年多了,我们公司已经在多地部署使用,开源以来,外部也有大量用户,所以基础的作业调度功能已经稳定,新添加的功能基本属于锦上添花,有些小bug也难免,欢迎反馈,让我们一起让他变得更好。
  2. 本系统是基于数据库资源库设计的,暂时不考虑支持文件资源库,当前支持oracle和mysql。
  3. 关于kettle版本的问题,我开发使用的是5.4版,用这个当然更好,其他版本也是可以的,我测试了5.1、5.4、7.0都是可以使用的,7.1是有问题的,以后测试,本系统只调用了kettle一些基础api,版本相差不是太大应该都是可以的。

关键信息

  1. 项目博客地址
  2. 项目源码地址
  3. 问题反馈邮箱:jinjuma@yeah.net。
  4. 项目交流qq群:320302530(已满勿加),交流2群:142104962(已满勿加),交流3群:142105082。
  5. qq群说明:群主也要上班,请自己多思考,大家相互帮助。本群主要支持如何更好的使用本平台,github上就是完整的源码,加上部署包中的jar肯定是可以运行起来的,这里不回答源码部署问题,都不看部署教程,直接上源码的可以退了,这不适合你。
  6. 项目网盘地址
  7. 群里已经有不少人运行起来开始使用了,也有部分人源码搞好了,可是很少有人回答新人问题,很少有人能做到相互帮助,我也很无奈,我哪里经得住天天问。只要你认真仔细阅读本博客大部分常见问题都能得到解决,可以在群里询问,偶尔也是有热心人回答得。
    

更新简介

刚开发完成的一些的功能完善和部分新功能的添加,还没有正式发布,现在放出0.3.0版的急速体验版。

以下就是0.3.0的更新日志:

  1. 优化结束功能。【之前偶有一些作业卡死的情况出现,停止结束都不行,只能重启平台,如果作业很多这会导致我们的作业一段时间的中断,毕竟重启也需要时间,特别是作业较多时,这里的优化是为了尽量减少重启的次数】。
  2. 支持配置作业在重启时的启动顺序,这样可以让紧急的任务优先启动。【这个是为了在我们迫不得已重启时优先启动紧急程度高的作业,然后慢慢启动不急的作业,从而减小重启对业务的影响】。
  3. 新增作业日志级别设置。【在kettle中运行时我们可以设置作业的日志级别,在调试发现问题时比较有用,现在本平台也支持为作业设置日志级别,方便查看更详细的日志,或减少不必要的日志】。
  4. 新增作业复制功能,很有用,此功能可用于很多参数化的作业。【即作业处理流程一致,通过修改参数重复使用的作业,这样的作业只需设计一个,然后就可以直接在管理页面复制,通过设置参数达到重复使用的目的】。
  5. 提供全量表对表作业、转换包装作业模板用于在管理页面复制,以支持直接在管理页面包装转换并运行、直接在管理页面配置表对表的全量抽取作业。【这里就是利用了上面的作业复制功能】。
  6. 新增转换查看功能。【支持查看资源库中的转换,结合上面的转换包装模板,可以直接在管理界面将转换包装为作业,然后就可以使用为作业开发的全部功能了】。
  7. 新增作业日志正则匹配预警日志生成。【对于一些自身作业设计不完善,没有考虑的异常等,本平台新增异常日志表,将通过正则匹配作业日志,出现异常将立即记录异常日志。实际体验感觉很不错,能加快发现作业错误】。
  8. 异常日志截取更加精准,一般不用下载完整日志文件就能看到具体异常信息
  9. 增加日志查看运行日志时自动刷新功能。
  10. 增加查看作业图和转换图功能。

极速体验

极速体验能让你尽快的体验本项目的功能,判断这是否是你所需要的。

当前提供了极速体验0.3.0版,是当前km的最新版本。

  1. 集成安装包直接集成了kettle、mysql、kettle-manager,这样能减低对部署人员的技术要求。
  2. 下载集成安装包,按安装包中的文档操作即可,很简单几步,还配有截图,应该算是没有难度了。
  3. 关键提示:执行init.bat脚本是要采用管理员模式运行,否则无法正常安装mysql服务。

平台部署

平台部署包简介

部署相关文件都会上传到网盘中,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值