37、模拟场景解决方案：数据迁移、LDV 处理与安全访问分析

模拟场景解决方案：数据迁移、LDV 处理与安全访问分析

在解决复杂业务场景时，我们面临一系列挑战，包括数据迁移、处理大体积数据对象（LDV）以及保障数据的安全访问等。下面将详细介绍应对这些挑战的策略和方法。

1. 数据迁移需求分析

公司的遗留 CRM 系统中有超过 8000 万客户数据，且存在大量重复数据。分析此需求后，明确了以下任务：
- 对遗留 CRM 中的客户数据进行去重，为每个客户保留一条记录。
- 仅迁移活跃客户，预计迁移后的数据集中约有 600 万客户。
- 将迁移后的活跃唯一客户与 ERP 中的相关记录关联起来，同时不显著改变 ERP 的数据。

为实现这些目标，回顾了三种主数据管理（MDM）实施风格：
- 注册表风格 ：通过运行匹配、使用清理算法并为匹配记录分配唯一全局标识符，在各个连接系统中识别重复项。
- 整合风格 ：通常从多个源收集数据并整合到一个中心，创建单一的真实版本，即黄金记录。
- 共存风格 ：与整合风格类似，可创建黄金记录，但主数据更改可在 MDM 中心或数据源系统中进行。

考虑到需求，可结合多种 MDM 风格。对于去重和创建整合的唯一黄金记录，可使用实现整合风格的 MDM 工具，如 Informatica MDM，因其具备执行模糊逻辑匹配的能力。对于将唯一客户与 ERP 中的重复记录关联的任务，需要支持注册表风格的 MDM 工具，Informatica MDM 也支持此风格，此外还有 Talend 和 IBM InfoSphere 等工具。