50、ETL系统子系统与技术：数据质量提升之道

ETL系统子系统与技术：数据质量提升之道

1. 数据质量文化建设

在企业中，技术手段若要有效解决数据质量问题，就必须融入整体的质量文化，而这种文化需从组织高层发起。以日本汽车制造业为例，其对质量的追求贯穿组织的各个层级，从CEO到一线装配工人，都积极拥抱质量理念。

以大型连锁药店为例，采购团队与数千家供应商签约采购库存商品，采购助理负责录入所购商品的详细描述，这些描述包含众多属性。然而，助理们的工作枯燥，且以每小时录入的商品数量来考核，他们几乎不了解数据的使用者。此外，提供给他们的数据本身也不完整、不可靠，例如毒性评级没有正式标准，该属性在不同时间和产品类别间差异显著。

为提升数据质量，可遵循以下九个步骤：
1. 高层明确承诺建立数据质量文化。
2. 高管推动流程再造。
3. 投入资金改善数据录入环境。
4. 投入资金提升应用集成水平。
5. 投入资金改变业务流程运作方式。
6. 提升端到端团队的认知。
7. 促进部门间合作。
8. 公开表彰数据质量卓越的成果。
9. 持续衡量和改进数据质量。

对于药店而言，需投入资金改进数据录入系统，为采购助理提供所需的内容和选择。公司高管要让采购助理明白他们的工作很重要，能对众多决策者产生积极影响，对助理们的勤奋努力应公开表扬和奖励，最终目标是让团队全面认识到高质量数据的商业价值。

2. 数据清洗系统

ETL数据清洗过程旨在修复脏数据，同时数据仓库要准确反映组织生产系统捕获的数据，因此平衡这两个相互冲突的目标至关重要。

数据清洗系统的目标是提供一个全面的架构，用于清洗数据