Kettle入门 - 一款开源的ETL工具

项目中使用到了Kettle，所以简单学习下，做个入门。方便后续排查问题。

目录

Kettle简介

什么是ETL？

Kettle

安装Kettle

安装并打开Spoon图形化开发界面

选择资源库

使用MySQL数据库作为资源库

添加MySQL驱动

创建kettle数据库

添加数据库连接信息

登录资源库

查看kettle数据库

使用Kettle

创建项目结构

Job与Transformation

循环体Job示例

简单的表到表的同步示例

任务运行与优化

监视metrics数据

数据库连接优化

批量提交大小

生产运行

配置文件

加密/解密

Carte

理解Kettle

Kettle资源库的相关表

作业和转换的核心对象

参考

---

Kettle简介

什么是ETL？

首先，必须得先知道什么是ETL。ETL就是抽取、转换、装载三个单词的缩写。

• E，Extract：抽取，一般是连接到不同的数据源，以便为随后的步骤提供数据
• T，Transform：在抽取和装载之间对数据的处理过程
• L，Load：将数据加载到目标数据库表中。装载也包括对代理健的管理和对维度表的管理等。

Kettle

Kettle是Pentaho开源的一款ETL工具，使用java语言开发，国外叫PDI（Pentaho Data Integration），国内一般叫Kettle。

Kettle主要由两种脚本和四个主要组件组成。

• 两种脚本
  • transformation：转