
Kettle
文章平均质量分 77
永远_不会懂
加油!
展开
-
Kettle — 常用组件使用
前言Kettle控件分为三种:转换控件、作业控件和Hop(跳)。转换控件输入控件表输入表输入控件是从数据库的表中读取数据的控件。我们可以在表中输入SQL语句(或者通过获取SQL查询语句获取)。比如我们通过获取SQL查询语句获取到SQL语句,我们可以预览这个转换。预览结果如下所示:对于查询语句而言,肯定是需要进行筛选的,这样就需要进行变量的引用。在Kettle...原创 2019-07-14 20:11:03 · 33964 阅读 · 3 评论 -
Kettle — 源码启动和代码结构分析
众所周知Kettle是一个开源的项目,所有我们有必要把Kettle的源码pull下来进行简单的分析,搞清楚Kettle的执行原理和实现过程。首先我们需要从Github中将源代码Pull下来。从Github上的分支可以看到,最新的版本应该是8.1.0.3的版本,而master分支最新的应该是9.0的RC版Kettle源码地址:https://github.com/pentaho/pentah...原创 2018-09-11 18:03:24 · 9393 阅读 · 5 评论 -
Kettle — 自定义插件
Kettle开发体系是基于插件的,平台自身提供接口,开发者按照规范实现接口就能进行插件的开发。在Kettle8.1的官方文档上有关于插件非常详细的介绍,如果有任何疑问可以先去官方文档查看。下面先介绍一下需要进行插件开发最基本的原理。插件类型在Kettle中插件涵盖以下四种类型: 1.步骤插件:Kettle中转换的核心对象 2.作业输入插件:Kettl...原创 2018-09-11 18:00:13 · 16678 阅读 · 3 评论 -
Kettle — Spoon加载源码解析
在Kettle中,我们知道Spoon是其中最重要的一个组件。它可以让我们以图形化的方式开发转换和作业等工作。在spoon中Kettle采用了Xul界面技术和Swt相结合的方式进行图形界面的开发。启动流程1)首先程序在启动时会创建一个spoon.log日志Path parent = Paths.get( System.getProperty( "user.dir" ) + File...原创 2018-09-11 17:49:39 · 3480 阅读 · 0 评论 -
Kettle — 使用手册
介绍ETL是EXTRACT(抽取)、TRANSFORM(转换)、LOAD(加载)的简称,实现数据从多个异构数据源加载到数据库或其他目标地址,是数据仓库建设和维护中的重要一环,也是工作量较大的一块。Kettle是ETL中其中一个开源工具,基于纯Java开发。kettle有两种脚本transformation(转换)和Job(作业)Kettle有三个主要组件:Spoon、Kitchen、P...原创 2018-09-11 17:35:42 · 212633 阅读 · 25 评论 -
Kettle — 集群使用
Kettle集群介绍在Kettle中合理的使用集群可以加快执行的速度,并且还能在部分服务器宕机的情况下继续使用。在Kettle中集群是由一个主Carte服务器和多个从Carte服务器组成。在执行转换时,主服务器负责分发跟踪任务和收集结果总汇,从服务器负责具体的转换执行。在Kettle中,如果主服务器也宕机的话并不存在服务器(类似于redis、zookeeper等)重新选举的功能,也就是说一旦主...原创 2018-09-11 17:23:00 · 15855 阅读 · 7 评论 -
Kettle — 常见错误
错误1:点击SQL时报错,执行转换不生效。需要点击hop,使之生效。错误2:资源库配置变为灰色,且没有Connect按钮原因是有些中文配置导致Kettle的repositories.xml文件乱码。删除红框中的文件,并重启Kettle。错误3:kettle8打开后会发现很多kettle8以前版本存在的插件不存在了,比如xml相关的操作、Json相关的操作...原创 2018-09-11 17:12:21 · 5261 阅读 · 0 评论 -
Kettle — 安装和部署
前提Kettle是纯Java编写的ETL开源工具,目前Kettle7和Kettle8都需要Java8或者以上才能正常运行。所以开运行Kettle前先检查Java环境是否正确配置,Java版本是否是8或者以上。Kettle安装1)创建Kettle的目录,并将Kettle的zip包解压到Kettle目录下2)查看一下sh文件使用都有执行的权限,如果没请加上。4)执行...原创 2018-09-11 16:47:35 · 32371 阅读 · 2 评论