Kettle的安装以及简单使用

原创已于 2023-01-18 15:02:29 修改 · 4.7k 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#数据仓库 #数据库 #数据挖掘

于 2023-01-11 18:13:10 首次发布

java 同时被 2 个专栏收录

23 篇文章

订阅专栏

5 篇文章

订阅专栏

Kettle是一款开源的ETL工具，用于数据抽取、转换和装载。文章介绍了如何下载安装Kettle，包括添加MySQL驱动，以及如何使用Spoon启动。Kettle的作业和转换可通过图形界面设计，但在生产环境中通常用Kitchen和Pan命令行工具执行。通过新建转换和作业的示例，展示了如何定期迁移数据。

Kettle是一款开源免费的ETL工具，ETL全称 Extract - Transform - Load 意味着数据抽取，转换，装载的过程。
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据， ETL是BI（商业智能）项目重要的一个环节。

一、下载安装
官网下载地址：https://sourceforge.net/projects/pentaho/files/Data%20Integration/
在这里插入图片描述
本次测试mysql，因此需要一个连接mysql的驱动包
下载地址：https://dev.mysql.com/downloads/connector/j/
打开地址选择Platform Independent，然后点击下载，有驱动包就不用下载了。
下载好后将文件解压，将里面的 mysql-connector-java-8.0.28.jar 放到，kettle解压的lib下面（ \data-integration\lib）。
在这里插入图片描述
点开Spoon.bat启动

二、使用
1、Kettle的两种设计
在这里插入图片描述
2、kettle组成

作业和转换可以在图形界面里执行，但这只适合在开发、测试和调试阶段。在开发完成后，需要部署到生产环境中 Spoon 就很少用到了，Kitchen 和 Pan 命令行工具用于实际的生产环境。

部署生产阶段一般需要通过命令行执行，需要把命令行放到 Shell 脚本中，并定时调度这个脚本。

Kitchen 和 Pan 工具是 Kettle 的命令行执行程序，只是在 Kettle 执行引擎上的封装，它们只是解释命令行参数，调用并把这些参数传递给 Kettle 引擎。

Kitchen 和 Pan 在概念和用法上都非常相近，这两个命令的参数也基本是一样的。唯一不同的是 Kitchen 用于执行作业，Pan 用于执行转换。

3、测试使用
1）新建转换：可以直接Ctrl+N，也可以右键转换新建，双击转换也行。
新建后会出现下图所示的界面。保存一下，我起名叫demo.
在这里插入图片描述
输入选择表建立连接

转换之前，需要做保存

执行成功之后，可以在mysql查看，stu2的数据

mysql> select * from stu2;
+------+----------+
| id   | name     |
+------+----------+
| 1001 | zhangsan |
| 1002 | lisi     |
| 1003 | wangwu   |
+------+----------+
3 rows in set (0.00 sec)

2）新建作业job
如果想要定时运行这个转换，那么就要用到作业。

在这里插入图片描述
从左侧依次拖动 START 、转换、成功到右侧，并用线连接起来。

双击 START，可以配置作业的运行间隔，这边配置了5秒运行一次。

双击转换，选择之前新建的那个转换。

点击运行，就能运行这次作业，点击停止就能停止。在下方执行结果，可以看到运行的日志。
在这里插入图片描述
这样就完成了一个最简单的作业，每隔5s，将源表的数据迁移到目标表。