Kettle的使用

Kettle的介绍

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。

Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。

Kettle中有两种脚本文件，transformation（转换）和job（作业），transformation完成针对数据的基础转换，job则完成整个工作流的控制。

transformation（转换）和job（作业）

transformation（转换）:完成针对数据的基础转换

job（作业）：完成整个工作流的控制

区别：

1. 作业是步骤流，转换是数据流
2. 作业的每一个步骤，必须等到前面的步骤都跑完，后续的步骤才会执行；而转换会一次性把所有的控件全部启动（一个控件对应一个线程），然后数据流会从第一个控件开始，一条记录，一条记录地流向最后的控件

新建转换

转换工作页

作业工作页题

Kettle的安装

1. 安装jdk,建议安装jdk1.8及以上；检查是否安装以及安装的版本，cmd 下输入java -version

2. 下载kettle，官方下载链接官网,解压（注意解压位置）
3. 因为kettle是绿色版，所以直接双击Spoon.bat，启动图形化界面工具（等待时间可能有点长），就可以直接使用了

kettle的核心概念

Kettle里的代码就是转换和作业。

转换

例如：

     转换(transaformation)负责数据的输入、转换、校验和输出等工作。Kettle 中使用转换完成数据 ETL 全部工作。转换由多个步骤 (Step) 组成，如文本文件输入，过滤输出行，执行 SQL 脚本等。

       各个步骤使用跳 (Hop) 来链接。 跳定义了一个数据流通道，即数据由一个步骤流 (跳) 向下一个步骤。在 Kettle 中数据的最小单位是数据行（row），数据流中流动其实是缓存的行集 (RowSet) 。

作业

作业 (Job)，负责定义一个完成整个工作流的控制，比如将转换的结果发送邮件给相关人员。因为转换（transformation）以并行方式执行，所以必须存在一个串行的调度工具来执行转换，这就是 Kettle中的作业。

步骤（step）

步骤（控件）是转换里的基本的组成部分。

一个步骤有如下几个关键特性：

①步骤需要有一个名字，这个名字在同一个转换范围内唯一。

②每个步骤都会读、写数据行(唯一例外是“生成记录”步骤，该步骤只写数据)。

③步骤将数据写到与之相连的一个或多个输出跳（hop），再传送到跳的另一端的步骤。

④大多数的步骤都可以有多个输出跳。一个步骤的数据发送可以被设置为分发和复制，分发是目标步骤轮流接收记录，复制是所有的记录被同时发送到所有的目标步骤。

跳（hop）

跳就是步骤之间带箭头的连线，跳定义了步骤之间的数据通路。

跳实际上是两个步骤之间的被称之为行集的数据行缓存，行集的大小可以在转换的设置里定义。当行集满了，向行集写数据的步骤将停止写入，直到行集里又有了空间。当行集空了，从行集读取数据的步骤停止读取，直到行集里又有可读的数据行。

数据类型

数据以数据行的形式沿着步骤移动。一个数据行是零到多个字段的集合，字段包含下面几种数据类型。

①String:字符类型数据

②Number:双精度浮点数。

③Integer:带符号长整型（64位）。

④BigNumber:任意精度数据。

⑤Date:带毫秒精度的日期时间值。

⑥Boolean:取值为true和false的布尔值。

⑦Binary:二进制字段可以包含图像、声音、视频及其他类型的二进制数据。

并行

跳的这种基于行集缓存的规则允许每个步骤都是由一个独立的线程运行，这样并发程度最高。这一规则也允许数据以最小消耗内存的数据流的方式来处理。

对于kettle的转换，不能定义一个执行顺序，因为所有步骤都以并发方式执行：当转换启动后，所有步骤都同时启动，从它们的输入跳中读取数据，并把处理过的数据写到输出跳，直到输入跳里不再有数据，就中止步骤的运行。当所有的步骤都中止了，整个转换就中止了。

如果你想要一个任务沿着指定的顺序执行，那么就要使用下面所讲的“作业”！