通过Web ETL统一调度和管理kettle任务

最新推荐文章于 2025-02-07 23:47:52 发布
最新推荐文章于 2025-02-07 23:47:52 发布
阅读量3.9k 收藏 13
点赞数
文章标签： etl 大数据 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kezi/article/details/124330054
版权

Kettle的管理和调度一直都是个难题，今天就介绍下用RestCloud ETL怎么来快速的管理和调度kettle流程，通Web界面即可以方便的调度kettle的任务。

首先登录进入Restcloud ETL平台

在应用中创建一个新的流程后，打开设计流程找到kettle任务执行组件拖入画布中

可以直接指定服务器上的kettle任务文件，也可以选择数据资源库的模式进行执行

配置kettle数据资源库的数据库信息即可

如上图所配置的信息保存节点后点击运行即可以运行kettle的任务

最低0.47元/天 解锁文章
苛子
关注
Web版ETL功能开发思考记录（数据抽取）（二）
Zachariahs的博客
08-02 1028
接上篇，一月来抽时间写了一些，首先该系统暂时预设不考虑元数据管控，不考虑数据库数据的单条管控，只进行不同类型库中的表级别数据的处理。上次记录到，基本每种数据库都有类似于数据泵一样的数据装载器的，这种装载器的装载效率远远高于INSERT INTO语句，能够使用这种方式最好，但是也应该提供INSERT INTO这种方式做选择。 1.数据库，数据源。 首先为了保证能实现多数量数据库，多种类数据库，所以数据库的IP，密码，账号全部存表，考虑到操作这个数据库的不一定...
Web版ETL工具
xuweilin的博客
06-22 1107
借助于kettle快速实现在线的ETL脚本编辑和定时驱动执行，适用于异构数据库之间的数据同步，还可以作为规则引擎完成数据的采集、转发和处理。
ETL工具 ，基于Kettle实现的Web版ETL工具
09-21
ETL工具 ，基于Kettle实现的Web版ETL工具，实现简单的数据抓取功能
linux kettle web管理,Kettle 的 Web 端管理工具 Kettle-Manager
weixin_39849762的博客
05-14 599
软件介绍平台简介出发点专门为kettle这款优秀的ETL工具开发的web端管理工具。kettle作为非常优秀的开源ETL工具得到了非常广泛的使用，一般的使用的都是使用客户端操作管理，但问题是当投入生产环境使用时，动辄上百或几百个job需要管理，这时在使用客户端管理已经很难完成了。我所知道的解决方案有用命令行的调用的，操作麻烦，总之还是很难用啦，还有就是开发web端管理工具，kettle自带了一个w...
分布式kettle调度平台- web版转换，作业编排新功能介绍
最新发布
sharehoo的博客
02-07 1514
此次新功能是基于kettle的spoon进行web化处理，实现了spoon客户端的95%的功能，兼容kettle 99%的底层能力。web化的目的是为了数据开发人员去编排数据任务，增强了数据安全，权限管理，角色管理，以及任务执行监控的能力。
基于web版kettle开发的一套分布式综合调度,管理,ETL开发的用户专业版BS架构工具.zip
03-13
中的“基于Web版Kettle开发的一套分布式综合调度、管理、ETL开发的用户专业版BS架构工具”指的是使用Kettle（Pentaho Data Integration）进行ETL（提取、转换、加载）过程，并且是Web化的版本，便于在浏览器上进行...
kettle-manager集成web页面调度
06-05
集成Kettle Manager到Web页面可以实现集中式的任务管理，便于团队协作，同时允许用户通过浏览器访问，无论何时何地都能进行作业调度，增强了系统的可访问性和灵活性。 三、集成步骤 1. **安装与配置**: 首先，需要...
基于kettle carte服务开发的管理kettle任务的系统，可以管理每台kettle的信息，控制任务并发量
03-05
系统前端则可以采用现代Web技术，如HTML5、CSS3和JavaScript，创建直观的用户界面，使得管理员能方便地查看、调度和控制Kettle任务。 【知识点】： 1. Kettle（Pentaho Data Integration）：Kettle是一个开源的ETL...
web应用集成kettle
12-05
将kettle集成值web应用中，不再需打开kettle窗口运行，并通过spring自动任务进行数据抽取，数据库采用数据源（jndi）的方式进行管理。配置简单方便。（之前需要kettle打开其运行环境，并配置数据库连接的相关信息）
web kettle、ETL数据采集
shengmao6545的博客
05-31 2694
kettle 9 的web版本 集成分布式调度 和web在线设计kettle流程、在线运行测试、刷新恢复当前执行效果
Kettle的Web端管理工具Kettle-Manager.zip
07-19
kettle管理工具专门为kettle这款优秀的ETL工具开发的web端管理工具。项目简介kettle作为非常优秀的开源ETL工具得到了非常广泛的使用，一般的使用的都是使用客户端操作管理，但问题是当投入生产环境使用时，动辄上百或几百个job需要管理，这时在使用客户端管理已经很难完成了。我所知道的解决方案有用命令行的调用的，操作麻烦，总之还是很难用啦，还有就是开发web端管理工具，kettle自带了一个web端管理工具，界面极其简陋不说，还很难用，基本无法投入生产环境使用，其他没留意到还有没有较好对众多job进行管理的工具。基于以上情况，和我近两年的kettle定制开发与使用经验。我设计并开发了这款kettle web端管理工具。本系统当前支持oracle和mysql项目功能job运行参数设置，可以在页面上设置作业运行参数，每次运行作业时会用设置的参数覆盖默认值，这个很多人用不上。定时设置，操作界面与kettle中的开始控件界面一致，这个可能是最优用的功能之一。作业的运行与停止，核心功能就不说了。实时查看作业运行日志，最大显示行数可以配置，这个功能看起来不起眼，实际应该是很有用的。后台有一个作业专门完成将运行的作业日志写入日志文件，文件按天分文件夹存放，日志文件大小可以配置，若觉得占用空间，可以设计一个作业进行定时清理以前的日志文件，后续会提供该作业。也可以配置为不写日志文件。作业的运行状态会定时反映到管理界面，我们可以通过多种条件筛选我们需要的作业进行批量运行或停止。本系统是基于数据库资源库设计的，暂时不考虑支持文件资源库。本系统还附带了一个kettle插件，类似kettle已有的自定义类控件（可以在转换中写java代码）。该控件的设计时为了避免每一个需求都去开发一个kettle控件，从后台元数据管理到操作界面设计。该控件采用灵活的JSON传递参数，然后继承一个基类就可以完成一个任务了，就是说基于该控件，只需要开发一个具体的操作类就可以了。有兴趣可以看一下，详细介绍参看：http://www.cnblogs.com/majinju/p/5767046.html。界面截图主界面定时设置界面参数设置界面运行日志查看界面平台级日志，支持查询下载项目介绍主页：kettle-manager主页 标签：Kettle  ETL工具框架
基于 Ajax的 ETL 工具分析与 web 实现
07-22
通过学习jquery框架 利用ajax技术实现了一个web的 ETL 工具 后台分析程序利用了 kettle的 后台函数
web版kettle.rar
02-10
web版kettle源码
kettle的web版本（webspoon）
01-11
kettle的web版本，自己编译的war包，直接放到tomcat下运行，然后http://localhost:8080/spoon/spoon就可以访问 参考地址：https://github.com/HiromuHota/pentaho-kettle
etl-kettle-web:etl, kettle, web, spring, spring boot, mysql, mybatis, oracle, hadoop, hive, hbase：基于web版kettle开发的一套分布式综合调度,管理,ETL开发的用户专业版BS架构工具，并且升级为springboot（基于https
05-13
etl-kettle-web etl, kettle, web, 1、参考了： 2、基于该项目，将kettle的web网页版本升级为springboot工程。 3、欢迎有兴趣的小伙伴，一起讲前端改造成vue.js 4、有兴趣的也可以直接修改并提交代码，或联系qq:406419768
探索数据处理的新境界：kettle_web——云端数据操控的艺术
gitblog_01008的博客
08-22 1020
探索数据处理的新境界：kettle_web——云端数据操控的艺术 项目地址:https://gitcode.com/gh_mirrors/op/OpenKettleWebUI 项目介绍 在大数据洪流中，高效、灵活的数据处理工具变得至关重要。kettle_web正是这样一款为云端而生的神器，它将经典的Kettle数据处理引擎融入现代的Web界面之中，犹如一把开启数据宝藏的金钥匙。通过这款平台，无论是...
通过Web ETL统一调度和管理DataX任务
RestCloud的博客
06-09 557
用RestCloud ETL怎么来快速的管理和调度DataX任务，通Web界面即可以方便的调度DataX的任务，增强DataX的管理和告警能力。
KettlePack：Web端ETL调度监控管理平台
资源摘要信息:"KettlePack是一个基于Kettle9的web端调度监控管理平台，它的主要功能是调度和监控由Kettle客户端创建的Job和Transformation。KettlePack的设计目的是为了提高ETL（Extract, Transform, Load）操作的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值