数据仓库数据清洗之码值映射

一、映射表F_CM_CODE_MAPPING

1. 源系统码值与目标码值映射关系表结构

不建议将源表码值和目标码值分两个表进行关联，设计建议参考F_CM_CODE_MAPPING

这个有问题，需要增加目标描述字段。

 

2. 源系统码值与目标码值映射关系表生成

         2.1 源系统多个码值对应一个目标码值 or 源系统的码值不在码表中保存而在注释中——手工维护映射表。

 

         2.2 源系统码值和目标码值一一对应（目标码值就是源系统码值）——ETL直抽到映射表中。

 

EG:

         SQOOP方案：为减少SQOOP任务将ODS所有码值一起抽取，代码如下。

sqoop import -D mapred.job.queue.name=${queueName} \

--connect ${oracle_connection} \

--username ${oracle_username} \

--password ${oracle_password} \

--query "select \

系统A,\