ETL数据测试方法小结

         开始接触BI，是很兴奋的，因为觉得这是一个很先进的技术，它可以协助企业做出决策。真正接触后，发现这确实是一个好东西，但是让它真正发挥作用要建立在分析结果的正确性上。

         在工作中，我们经常会根据客户的需求，为客户得到他们想要的数据。比如客户的评级，客户的状态分布（在司，流失，潜在）等等，但是在做完这些后，我们往往会遇到这样一个问题，结果正确吗？是客户想要的结果吗？我们怎么来验证数据的正确性？

         做ETL多长时间，这个问题就困扰了我多长时间，因为往往我们做出来的数据，不知道其正确与否，也就不能真正的为客户发生作用，而客户是要根据这些结果来了解客户情况的，所以我有的时候甚至会想，如果因为给了客户一个错误的结果，而得出错误的决策，那不就得不偿失了。

          所以在我看来，验证数据分析结果的正确性至关重要。这里就涉及到了ETL测试。通过做项目，自己总结了一下ETL的测试方法，欢迎大家拍砖。

 

一、ETL测试的重要性：

ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)作为BI/DW（Business Intelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计，而ETL规则设计和实施则是工作量最大的，约占整个项目的60%～80%，这是国内外从众多实践中得到的普遍共识。

在技术上，ETL主要涉及到关联、转换、增量、调度和监控等几个方面；数据仓库系统中数据不要求与联机事务处理系统中数据实时同步，