34个ETL子系统-7：排除重复数据系统

去除重复记录也许是ETL项目中最棘手的问题。大部分的ETL工具都没有自动处理重复数据的功能。数据重复问题，最简单的情况是删除重复的记录，或者是将不同数据系统中相互冲突的数据变得统一。处理重复数据有几种方法：模糊查询、正则表达式、或者各种数据挖掘的算法等。
如果用开源的工具，也可以尝试DQ Guru，
SQL Power DQguru Community Edition (formerly the SQL Power MatchMaker), sponsored by SQL Power Group Inc, is a cross-platform, open-source data cleansing tool.
For more information on the Community Edition or Enterprise Edition of SQL Power DQguru, please visit http://www.sqlpower.ca/page/dqguru