Jeff的专栏

最近接到优化程序的工作，程序使用kettle编写，有一段业务处理，需要使用kettle遍历动态拼接执行SQL(数据库(oracle)中存储SQL的查询条件，例如：AND ITEM='K001')；测试发现kettle遍历非常耗时(情理中，遍历在执行SQL，不耗时，就不正常了)，再考虑到kettle遍历次数达到一定数量，基本就挂了；核心问题是kettle遍历耗时，并存在潜在的问题；有问题解决问题，不让kettle执行遍历工作，不就可以解决这个问题了吗？

详细的变量名称和值，通过问号(?)进行截取，前面为名称，后面为值，所有变量(系统+自定义)共计120+左右。

首先整理一下，关于kettle合并记录的基础知识旧数据来源：旧数据来源的步骤新数据来源：新数据来源的步骤标志字段：设置标志字段的名称，标志字段用于保存比较的结果，默认值：flagfield，比较结果有下列几种。1. “identical” – 旧数据和新数据一样2. “changed” – 数据发生了变化3. “new” – 新数据中有而旧数据中没有的记录4. “deleted” –旧数据中有而新数据中没有的记录关键字段：用于定位两个数据源中的同一条记录数据字段：对于