增量抽取是应用项目中很常见的一种需求。在本 blog 前面的文章中对增量抽取的几种实现方式有比较详细的说明。这里要介绍的表增量输入步骤就是基于触发器这种方式以 kettle 插件的方式实现的。对于各类支持触发器的数据库,都可以使用这个插件来进行增量抽取。
[@more@]基于触发器的增量抽取的主要思路就是对要增量抽取的数据表建立触发器来监控表的增、删、改操作。每当有对表的上述操作,操作影响到的记录或者记录的主键都会被保存到一个中间表中(我们称这个中间表为影子表,因为每个表都要有一个中间表来记录下对这个表的历史操作,象表的影子一样)。
这个插件的界面上,有三个标签页分别是【Table】,【Join】,【SQL】。
【Table】 标签, 在指定的数据库连接中选择一个要抽取的表,然后设置这个表的关键字段,关键字段必须能唯一定位到一条记录。如果表本身带有主键,可以使用表的主键作为关键字段。关键字段可以使用字段组合,如下图中的 k1,k2 两个字段组成了关键字段。
下载地址:http://www.xgndata.com/download.htm
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/14366449/viewspace-1023520/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/14366449/viewspace-1023520/