webspoon(webkettle) 本地部署

参考

原项目git地址:mirrors / hiromuhota / pentaho-kettle

如何部署WebSpoon9.0.0(Kettle的Web版本)

前言

kettle本来是一款C/S结构的ETL工具,对操作系统不太友好,web版本应运而生。因为dockers版本的部署异常简单,本文只讲解我在本地进行源码编译部署时遇到的一些问题。

感谢"贰拾叁" 大佬给热心回复了我的提问。

依赖拉取、编译:

在此之前一定要修改自己maven仓库得配置文件,因为webspoon的相关依赖【pentaho public】是在maven公库中没有的,以下是参照的原项目master分支中redme所给指定的配置,我是直接拿来覆盖!

settings.xml

pentaho-xul-swt

$ git clone -b webspoon-9.0 https://github.com/HiromuHota/pentaho-commons-xul.git
$ cd pentaho-commons-xul
$ mvn clean install -pl swt

 rap

$ git clone -b webspoon-3.12.0 https://github.com/HiromuHota/rap.git
$ cd rap
$ mvn clean install

 可能遇到的错误:

 如何解决?

...\rap\releng\org.eclipse.rap.build\pom.xml

将 32行修改为

<jetty-repo.url>https://download.eclipse.org/jetty/updates/jetty-bundles-9.x/9.4.48.v20220622/</jetty-repo.url>

 将35行修改为

<rap-extra-repo.url>https://download.eclipse.org/rt/rap/base-platforms/3.14/extra-dependencies/</rap-extra-repo.url>

pentaho-vfs-browser

$ git clone -b webspoon-9.0 https://github.com/HiromuHota/apache-vfs-browser.git
$ cd apache-vfs-browser
$ mvn clean install

webSpoon 拉取、编译:

要确保以上三个依赖已经编译通过!

$ git clone -b webspoon-9.0 https://github.com/HiromuHota/pentaho-kettle.git
$ cd pentaho-kettle
$ mvn clean install

可能遇到的错误1 :

如何解决?

这个syslog4j-0.9.46.jar这个jar包在pentaho的仓库中没有,到maven公库中下载后手动安装:

syslog4j-0.9.46.jar

mvn install:install-file -Dfile=jar包存放的位置\syslog4j-0.9.46.jar -DgroupId=org.syslog4j -DartifactId=syslog4j -Dversion=0.9.46 -Dpackaging=jar

 可能遇到的错误2:

如何解决?

原需对应的版本的jar包在pentaho的仓库中没有找到,从docker容器中找到的依赖jar包,手动进行安装:

链接:https://pan.baidu.com/s/1Rs_ObLCwtZL8HIx2oiSEuQ?pwd=6aqb 
提取码:6aqb 

 mvn install:install-file -Dfile=jar包存放的位置\pentaho-hadoop-shims-common-mapreduce-9.0.2020.02.00-423.jar -DgroupId=org.pentaho -DartifactId=pentaho-hadoop-shims -Dversion=9.0.2020.02.00-423 -Dpackaging=jar

编译成功:

 在\pentaho-kettle\assemblies\client\target下会编译出spoon.war

本地部署

将spoon.war放到tomcat的webapps下,修改tomcat的server.xml文件,在Host标签下添加以下内容:

<Context path="/spoon" docBase="E:\BaiduNetdiskDownload\webSpoon\webapps\spoon.war" reloadable="true"></Context>

 启动tomcat

双击tomcat的bin目录下的startup.bat启动tomcat:

 浏览器访问 http://localhost:8080/spoon/spoon

 启动成功!

kettle管理工具专门为kettle这款优秀的ETL工具开发的web端管理工具。项目简介kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用的都是使用客户端操作管理,但问题是当投入生产环境使用时,动辄上百或几百个job需要管理,这时在使用客户端管理已经很难完成了。我所知道的解决方案有用命令行的调用的,操作麻烦,总之还是很难用啦,还有就是开发web端管理工具,kettle自带了一个web端管理工具,界面极其简陋不说,还很难用,基本无法投入生产环境使用,其他没留意到还有没有较好对众多job进行管理的工具。基于以上情况,和我近两年的kettle定制开发与使用经验。我设计并开发了这款kettle web端管理工具。本系统当前支持oracle和mysql项目功能job运行参数设置,可以在页面上设置作业运行参数,每次运行作业时会用设置的参数覆盖默认值,这个很多人用不上。定时设置,操作界面与kettle中的开始控件界面一致,这个可能是最优用的功能之一。作业的运行与停止,核心功能就不说了。实时查看作业运行日志,最大显示行数可以配置,这个功能看起来不起眼,实际应该是很有用的。后台有一个作业专门完成将运行的作业日志写入日志文件,文件按天分文件夹存放,日志文件大小可以配置,若觉得占用空间,可以设计一个作业进行定时清理以前的日志文件,后续会提供该作业。也可以配置为不写日志文件。作业的运行状态会定时反映到管理界面,我们可以通过多种条件筛选我们需要的作业进行批量运行或停止。本系统是基于数据库资源库设计的,暂时不考虑支持文件资源库。本系统还附带了一个kettle插件,类似kettle已有的自定义类控件(可以在转换中写java代码)。该控件的设计时为了避免每一个需求都去开发一个kettle控件,从后台元数据管理到操作界面设计。该控件采用灵活的JSON传递参数,然后继承一个基类就可以完成一个任务了,就是说基于该控件,只需要开发一个具体的操作类就可以了。有兴趣可以看一下,详细介绍参看:http://www.cnblogs.com/majinju/p/5767046.html。界面截图主界面定时设置界面参数设置界面运行日志查看界面平台级日志,支持查询下载项目介绍主页:kettle-manager主页 标签:Kettle  ETL工具框架
评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值