50、ETL 子系统与技术：确保数据质量与高效处理

ETL 子系统与技术：确保数据质量与高效处理

一、数据质量文化建设

数据质量的提升并非单纯的技术问题，而是需要组织自上而下形成一种全面的质量文化。以大型连锁药店为例，采购团队与数千家供应商签约供货，采购助理负责录入采购物品的详细描述，但他们的工作存在诸多问题。助理的工作枯燥且以每小时录入的物品数量来评判绩效，这使得他们几乎不了解数据的使用者，同时所接收的数据本身也不完整、不可靠，如毒性评级就缺乏正式标准。

为提升数据质量，可遵循以下九个步骤：
1. 高层声明对数据质量文化的高度承诺。
2. 推动高层进行流程再造。
3. 投入资金改善数据录入环境。
4. 投入资金提升应用集成。
5. 投入资金改变业务流程的运作方式。
6. 提升端到端团队的意识。
7. 促进部门间的合作。
8. 公开表彰数据质量卓越的成果。
9. 持续衡量和改进数据质量。

在药店的案例中，需要投入资金改进数据录入系统，为采购助理提供所需的内容和选择。公司高管要让采购助理明白他们的工作很重要，能对众多决策者产生积极影响，并且对助理们的勤奋努力要公开表扬和奖励，最终目标是让团队全面认识到高质量数据所带来的商业价值。

二、数据清洗系统

ETL 数据清洗过程既要修复脏数据，又要让数据仓库准确呈现组织生产系统捕获的数据，因此平衡这两个相互冲突的目标至关重要。

数据清洗系统的目标是提供一个全面的架构，用于清洗数据、捕获数据质量事件以及衡量和控制数据仓库中的数据质量。对于新手而言，可先进行尽可能完善的数据剖析分析，其结果有助于了解使用潜在脏数据或不可靠数据的风险，以及确定数据清