《数据清洗》日常学习笔记--Kettle基础概念

一、Kettle转换

        转换包括一个或多个步骤，步骤之间通过跳(hop)来连接。跳定义了一个单向通道，允许数据从一个步骤流向另一个步骤。在Kettle中，数据的单位是行，数据流就是数据行从一个步骤到另一个步骤的移动。

1. 转换。Kettle在运行转换的时候，根据用户的设置，可以将数据以不同的方式发送到多个数据流中。
2. 转换。转换以并行的方式执行，就需要一个可以串行执行的作业来处理这些操作（作业以串行执行）。
3. 转换。是ETL解决方法中最主要的部分，它处理抽取，转换，加载各阶段各种对数据行的操作。
4. 转换。转换的注意点，步骤是转换里面的基本组成部分，它以图标的方式图形化的展示。一个步骤有如下几个关键特性。步骤需要有一个名字，且这个名字在转换范围里唯一。步骤将数据写到与之相连的一个或者多个输出跳（outgoing hops），再传送到跳的另一端的步骤。对另一端步骤来说这个跳就是一个输入跳（incoming hops），步骤通过输入跳接受数据。
5. 转换的跳。跳（hop）就是步骤之间带箭头的连线，跳定义了步骤之间的数据通路。跳实际上是两个步骤之间的被成为行集（row set）的数据行缓存（行集的大小可以在转换的设置里面定义）。