Senior Course Of Kettle

Kettle(现称PDI)是一款开源的ETL工具,适用于多平台,支持数据清洗、转换和加载。它提供了图形化的用户界面进行数据处理。转换用于数据的基础转换,而作业则负责协调多个转换形成复杂的工作流。Spoon是其设计工具,DataIntegrationServer作为一个ETL服务器,负责执行任务。Kettle通过transformation和job管理来自不同数据库的数据,并以高效稳定的方式进行数据抽取。

序言

ETL:Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程.对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,

Kettle是一款国外开源的ETL工具,纯java编写(所以需要安装在本地环境安装JDK),可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。

总的来说既然是可拖拽的工具来进行数据的清洗,想必操作内容大于开发内容cuiyaonan2000@163.com

官网:kettle的基础概念入门、下载、安装、部署 – Kettle中文网

简介

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。

Kettle:现在已经更名为PDI,Pentaho Data Integration-Pentaho数据集成

  • Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
  • Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么而不是你想怎么做
  • Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换job则完成整个工作流的控制
  • Kettle(现在已经更名为PDI,Pentaho Data Integration-Pentaho数据集成)

基本概念

  • 转换: 就是字面意思,将目标内容转成标准内容(换句话说,如果有超过2个转换的输入则必须使用作业cuiyaonan2000@163.com)
  • 作业:即复杂的转化,多个转换相互协调即为作业.同时作业也可嵌套作业
  • 输入:即原始数据的来源
  • 输入:即标准内容输出结果

Kettle结构

Spoon

Spoon是构建ETL Jobs和Transformations的工具。Spoon以拖拽的方式图形化设计,能够通过spoon调用专用的数据集成引擎或者集群。

Data Integration Server

是一个专用的ETL Server,它的主要功能有:

一个清洗流程图

从下图可以看到Job就是任务的控制,包括了读取数据,传送数据,检查数据.那具体的转换工作是由Transformation来操作的.

Launch Kettle

官方网址:Hitachi Vantara Customer

下载stable版本.下载完成后,直接点击Spoon.bat 就可以启动成功.(我下载的最新版本pdi-ce-9.2.0.0-290 ,该版本不支持jdk15,改成JKB1.8 启动成功.如果版本不对爆出的错误是 JVM虚拟机启动失败cuiyaonan2000@163.com)

启动后界面如下:

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cuiyaonan2000

给包烟抽吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值