Web版ETL工具

已于 2024-06-24 17:26:51 修改
阅读量1.1k 收藏 10
点赞数 20
文章标签： 前端 etl 数据仓库
于 2024-06-22 10:37:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/mopmgerg54mo/article/details/139878640
版权

Web版ETL工具

源码地址：https://gitee.com/easy_way/web-etl-tool

介绍

本系统基于两个开源组件进行组合，完成在线ETL规则编排和任务可视化管理。其中tomcat中内置了spoon程序，dataCollection组件基于定时任务的方式，集成了spoon脚本执行的功能。
在这里插入图片描述
在这里插入图片描述

软件架构
  • dataCollection --------------- 定时任务管理模块，驱动spoon脚本定时执行
  • apache-tomcat-8.0.39 --------- spoon项目启动容器，启动后编辑脚本，存入资源库
  • debug------------准备了1个示例，可以实现数据库之间的同步，一个是job，一个是转换文件，job中自动引用了该转换文件
  • sql------------里面有3个sql文件，其中kettle_resource.sql是kettle工具对应的数据库，data_collection.sql是dataCollection对应的数据库，db1.sql是debug测试示例中需要的数据库
安装教程
  1. 数据库中新建d
最低0.47元/天 解锁文章
本地DataXWeb代码发布至Linux
weixin_44411398的博客
05-14 1057
本地DataXWeb代码发布至Linux 有时候会对DataXWeb进行更改，或者是二次开发，但是网上较少用本地的代码打包发布记录，这里记录下。 文章目录本地DataXWeb代码发布至Linux一、环境准备1）Linux基础软件安装2 ) DataX Web安装包准备二、开始部署1）解压安装包2）执行一键安装脚本3）数据库初始化4 ) 配置5）启动服务6）查看服务（注意！注意！）7）运行 一、环境准备 1）Linux基础软件安装 MySQL (5.5+) 必选，对应客户端可以选装, Linux服务上若安装m
Web版ETL功能开发思考记录（数据抽取）（二）
Zachariahs的博客
08-02 1039
接上篇，一月来抽时间写了一些，首先该系统暂时预设不考虑元数据管控，不考虑数据库数据的单条管控，只进行不同类型库中的表级别数据的处理。上次记录到，基本每种数据库都有类似于数据泵一样的数据装载器的，这种装载器的装载效率远远高于INSERT INTO语句，能够使用这种方式最好，但是也应该提供INSERT INTO这种方式做选择。 1.数据库，数据源。 首先为了保证能实现多数量数据库，多种类数据库，所以数据库的IP，密码，账号全部存表，考虑到操作这个数据库的不一定...
ETL工具 ，基于Kettle实现的Web版ETL工具
09-21
ETL工具 ，基于Kettle实现的Web版ETL工具，实现简单的数据抓取功能
Kettle Web版ETL工具：轻松实现数据转换与加载
gitblog_09776的博客
10-17 1379
Kettle Web版ETL工具：轻松实现数据转换与加载 【下载地址】KettleWeb版ETL工具 本仓库提供了一个基于Kettle实现的Web版ETL工具，方便用户在线上进行ETL操作。资源文件为`kettle的web版.zip`，下载后解压并部署到Tomcat的`webapp`目录中即可使用 ...
ETL工具 —— 基于Kettle的Web版ETL解决方案
最新发布
gitblog_06755的博客
04-14 635
ETL工具 —— 基于Kettle的Web版ETL解决方案 【下载地址】ETL工具基于Kettle的Web版ETL解决方案 基于Kettle的Web版ETL工具，为您提供便捷的数据处理解决方案。通过简单的Web界面，无需安装客户端，即可轻松配置和管理ETL任务。该工具继承了Kettle的强大数据处理能力，支持多种数据源和...
etl工具-Taskctl-Web版 批量作业调度监控视图
humsuen的博客
12-07 1053
TASKCTL 在线应用简介：‍ Taskctl在线应用版V1.2相比C/S应用端功能完整，并精简部分操作逻辑，适合初学者体验 taskctl 产品，也能作为中小项目生产应用。 工具下载 《TASKCTL在线应用free版的特性、权限、注册说明》 去公众号:【taskctl】回复内容 "领取" 或 "软件" 即可 实时监控 Monitor 监控概况 通过监控概况页面，您可以实时了解到整个平台作业运行统计情况，调度控 制节点资源的消耗情况，我的消息，上次作业排程分布，业务流程的运行及统计 情况，以
基于 Ajax的 ETL 工具分析与 web 实现
07-22
通过学习jquery框架 利用ajax技术实现了一个web的 ETL 工具 后台分析程序利用了 kettle的 后台函数
基于Kettle打造的Web版ETL工具介绍
基于Kettle实现的Web版ETL工具是一种可以在网页上操作的ETL工具，它利用了Kettle（Pentaho Data Integration的别名）这一强大的开源数据集成解决方案。下面详细说明这一工具的知识点： 1. ETL概念：ETL是数据抽取...
基于web版kettle开发的一套分布式综合调度,管理,ETL开发的用户专业版BS架构工具.zip
03-13
【标题】中的“基于Web版Kettle开发的一套分布式综合调度、管理、ETL开发的用户专业版BS架构工具”指的是使用Kettle（Pentaho Data Integration）进行ETL（提取、转换、加载）过程，并且是Web化的版本，便于在浏览器...
北京灵蜂ETL工具（高端）BeeDI V10.0 技术白皮书2021版.pdf
02-03
北京灵蜂ETL工具 高端系列 BeeDI V10.0 技术白皮书 2021版 涵盖 产品功能：数据转换、数据联邦、数据同步、大数据集成、Kafka消息流、Web交互、文件同步、工作流调度、Web集成、脚本调度、作业调度、远程调度、集群...
webkettle：基于web版的水壶开发的一套全面综合调度，管理，ETL开发的用户专业版BS架构工具
02-04
欢迎相同爱好者加入一起维护此项目 webKettleETL产品介绍 webkettle平台，优化的将平台构建为B / S架构的ETL模型设计以及集成用户专业调度管理的分布式ETL建模运维系统。 系统分为七大模块：模型，平台，任务，定时调度，日志，例程，用户。 模型模块进行ETL模型开发，在B / S系统中用拖拽的方式设计数据流逻辑。 其他六个模块为用户专业调度管理系统，更多是面向业务运维人员，关注于整个流程的执行情况和数据的导入转换细节信息，以及对任务的综合调度。完全支持部署和单机两种运行模式。并通过用户权限的管控让平台的资源分配变得更加专业。 模块展示 平台（展示平台轮廓） 模型设计（进行E
etl-kettle-web:etl, kettle, web, spring, spring boot, mysql, mybatis, oracle, hadoop, hive, hbase：基于web版kettle开发的一套分布式综合调度,管理,ETL开发的用户专业版BS架构工具，并且升级为springboot（基于https
05-13
etl-kettle-web etl, kettle, web, 1、参考了： 2、基于该项目，将kettle的web网页版本升级为springboot工程。 3、欢迎有兴趣的小伙伴，一起讲前端改造成vue.js 4、有兴趣的也可以直接修改并提交代码，或联系qq:406419768
Kettle的Web端管理工具Kettle-Manager.zip
07-19
kettle管理工具专门为kettle这款优秀的ETL工具开发的web端管理工具。项目简介kettle作为非常优秀的开源ETL工具得到了非常广泛的使用，一般的使用的都是使用客户端操作管理，但问题是当投入生产环境使用时，动辄上百或几百个job需要管理，这时在使用客户端管理已经很难完成了。我所知道的解决方案有用命令行的调用的，操作麻烦，总之还是很难用啦，还有就是开发web端管理工具，kettle自带了一个web端管理工具，界面极其简陋不说，还很难用，基本无法投入生产环境使用，其他没留意到还有没有较好对众多job进行管理的工具。基于以上情况，和我近两年的kettle定制开发与使用经验。我设计并开发了这款kettle web端管理工具。本系统当前支持oracle和mysql项目功能job运行参数设置，可以在页面上设置作业运行参数，每次运行作业时会用设置的参数覆盖默认值，这个很多人用不上。定时设置，操作界面与kettle中的开始控件界面一致，这个可能是最优用的功能之一。作业的运行与停止，核心功能就不说了。实时查看作业运行日志，最大显示行数可以配置，这个功能看起来不起眼，实际应该是很有用的。后台有一个作业专门完成将运行的作业日志写入日志文件，文件按天分文件夹存放，日志文件大小可以配置，若觉得占用空间，可以设计一个作业进行定时清理以前的日志文件，后续会提供该作业。也可以配置为不写日志文件。作业的运行状态会定时反映到管理界面，我们可以通过多种条件筛选我们需要的作业进行批量运行或停止。本系统是基于数据库资源库设计的，暂时不考虑支持文件资源库。本系统还附带了一个kettle插件，类似kettle已有的自定义类控件（可以在转换中写java代码）。该控件的设计时为了避免每一个需求都去开发一个kettle控件，从后台元数据管理到操作界面设计。该控件采用灵活的JSON传递参数，然后继承一个基类就可以完成一个任务了，就是说基于该控件，只需要开发一个具体的操作类就可以了。有兴趣可以看一下，详细介绍参看：http://www.cnblogs.com/majinju/p/5767046.html。界面截图主界面定时设置界面参数设置界面运行日志查看界面平台级日志，支持查询下载项目介绍主页：kettle-manager主页 标签：Kettle  ETL工具框架
开源免费etl作业批量调度必备软件 Taskctl Free应用版
u010192213的博客
11-18 964
目录 写在前面 关于taskctl Free应用版 功能特性与授权 安装环境 安装方法与步骤 0元授权 写在前面 2020年疫情席卷全球，更是对整个市场经济造成了严重影响，年初疫情肆虐，西方世界单方面的科技、经济封锁，国际关系吃紧.....导致很多中小型企业业务链受阻，大型企业经费资金吃紧，轮班制导致公司运维人员工作量大幅增加；塔斯克信息技术公司经领导研究决定为了履行社会责任，积极回报社会，帮助在此疫情期间受影响的企业减少运维资金支出、提升工作效率、保证后台数据安全，工作需求场景能够应用到的
使用ETL-Kettle-Web实现高效数据处理：一项现代数据工程解决方案
gitblog_00098的博客
04-02 891
使用ETL-Kettle-Web实现高效数据处理：一项现代数据工程解决方案 去发现同类优质开源项目:https://gitcode.com/ 在大数据时代，高效的数据提取、转换和加载（ETL）是企业决策和业务智能化的核心。今天，我们要向您推荐一个强大的开源项目——，它将Kettle ETL工具与Web界面相结合，提供了更直观、易用且可扩展的数据处理平台。 项目简介 ETL-Kettle-Web 是...
Kettle Web版ETL工具
gitblog_09742的博客
10-15 380
Kettle Web版ETL工具 【下载地址】KettleWeb版ETL工具 本仓库提供了一个基于Kettle实现的Web版ETL工具，方便用户在线上进行ETL操作。资源文件为`kettle的web版.zip`，下载后解压并部署到Tomcat的`webapp`目录中即可使用 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

研创通之逍遥峰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值