上海太保P05项目——DS概要设计

        CIF层：读取EXF文件，完成类型转换、数据变换、TRIM空格等任务并将结果写入CIF文件。

        LDF层（STEP1+STEP2）：读取CIF文件，完成业务逻辑转换（如LOOKUP、MERGE、AGGREGATION、JOIN等）任务并将结果写入LDF文件。该过程比较复杂，根据实际业务逻辑没有同意的处理流程，但结果都是要生成一个用于预加载的LDF文件。如果业务逻辑非常复杂，很难在一个JOB中完成全部的业务逻辑转换，可以分拆成多个子JOB程序，在程序最后一位用一位数字标识区分不同的JOB。通常情况是，对于复杂的业务逻辑，会将LDF的JOB分成两步，即STEP1与STEP2。STEP1是根据MAPPING文档完成具体的业务字段的转换与赋值，生成STEP1文件。STEP2是根据预加载规则，对STEP1文件进行预加载逻辑处理，生成预加载的落地文件。所谓预加载规则，就是增量数据的处理规则，把增量数据分成新记录（N）、更新记录（U）和老记录（O）。

        LOD层：读取LDF落地文件，讲LDF文件的数据加载到对应的数据仓库物理表中。

        在JOB测试过程中，测试重点集中在LDF层的STEP1里，因为这是业务逻辑最复杂的一层。