37、模拟场景解决方案：数据迁移、LDV 处理与安全访问分析

cicd6pipeline

于 2025-11-03 15:57:43 发布

阅读量18

点赞数

CC 4.0 BY-SA版权

分类专栏：征服CTA：架构师进阶之路文章标签：数据迁移 LDV处理主数据管理

本文链接：https://blog.youkuaiyun.com/cicd6pipeline/article/details/154509504

征服CTA：架构师进阶之路专栏收录该内容

41 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

模拟场景解决方案：数据迁移、LDV 处理与安全访问分析

在解决复杂业务场景时，我们面临一系列挑战，包括数据迁移、处理大体积数据对象（LDV）以及保障数据的安全访问等。下面将详细介绍应对这些挑战的策略和方法。

1. 数据迁移需求分析

公司的遗留 CRM 系统中有超过 8000 万客户数据，且存在大量重复数据。分析此需求后，明确了以下任务：
- 对遗留 CRM 中的客户数据进行去重，为每个客户保留一条记录。
- 仅迁移活跃客户，预计迁移后的数据集中约有 600 万客户。
- 将迁移后的活跃唯一客户与 ERP 中的相关记录关联起来，同时不显著改变 ERP 的数据。

为实现这些目标，回顾了三种主数据管理（MDM）实施风格：
- 注册表风格 ：通过运行匹配、使用清理算法并为匹配记录分配唯一全局标识符，在各个连接系统中识别重复项。
- 整合风格 ：通常从多个源收集数据并整合到一个中心，创建单一的真实版本，即黄金记录。
- 共存风格 ：与整合风格类似，可创建黄金记录，但主数据更改可在 MDM 中心或数据源系统中进行。

考虑到需求，可结合多种 MDM 风格。对于去重和创建整合的唯一黄金记录，可使用实现整合风格的 MDM 工具，如 Informatica MDM，因其具备执行模糊逻辑匹配的能力。对于将唯一客户与 ERP 中的重复记录关联的任务，需要支持注册表风格的 MDM 工具，Informatica MDM 也支持此风格，此外还有 Talend 和 IBM InfoSphere 等工具。

遗留 CRM 中还有超过 2 亿条电表记录，由于记录冗余，实际需迁移的电表记录预计少于 1000 万条。公司希望清理数据，为每个电表维护一条记录以实现 360 度资产视图。此需求同样需要去重，可使用已有的支持 MDM 整合的工具完成，并更新景观架构图和集成接口列表。

2. 识别和处理大体积数据对象（LDV）

通过分析场景，识别出可能的 LDV 对象，并计算其记录数量以确定是否为 LDV，同时制定缓解策略。以下是主要对象的分析：
| 对象 | 预计记录数 | 是否为 LDV | 缓解策略 |
| — | — | — | — |
| Account | 约 1520 万条 | 是 | 尽可能存档非活跃客户，使用 Salesforce Big Objects 存档 |
| Contact | 约 740 万条 | 是 | 尽可能存档非活跃联系人，使用 Salesforce Big Objects 存档 |
| Asset | 约 1215 万条 | 是 | 尽可能存档非活跃资产，使用 Salesforce Big Objects 存档 |
| Contract_Line_item__c | 约 1215 万条 | 是 | 与 Asset 对象类似，使用 Salesforce Big Objects 存档 |
| Contract | 约 670 万条 | 是 | 与 Asset 和 Contract_Line_item__c 对象类似，使用 Salesforce Big Objects 存档 |
| Meter__c | 1000 万条 | 否 | 无需特殊处理 |
| Meter_Reading__c | 每年 2450 万条 | 是 | 存档超过两年的电表读数，使用 Salesforce Big Objects 存档 |
| Quote | 每年少于 100 万条 | 否 | 无 |
| Opportunity | 每年少于 50 万条 | 否 | 无 |
| Case | 约 2000 万条 | 是 | 存档超过一年的案例，使用 Salesforce Big Objects 存档 |
| AccountContactRelation | 超过 1000 万条 | 是 | 与 Account 和 Contact 对象类似，使用 Big Objects 存档 |

对于无法转移到平台外解决方案的 LDV 对象，可通过确保其尽可能精简并在可能时存档记录来缓解 LDV 影响。在本场景中，选择使用 Salesforce Big Objects 进行存档，可利用 Informatica 处理从 sObjects 到 Big Objects 的存档工作。

3. 数据迁移流程

graph LR
    A[遗留 CRM 数据] --> B[MDM 工具去重]
    B --> C[选择活跃客户]
    C --> D[迁移到 Salesforce]
    E[ERP 数据] --> F[MDM 工具关联]
    F --> D

4. 安全访问需求分析

安全访问需求通常是仅次于业务流程需求的难题。需要调整数据模型、角色层次结构以及可能的参与者和许可证图。以下是具体需求及解决方案：
- 关键客户及其电表读数仅对关键客户经理可见 ：在关键客户管理流程的解决方案中，设计让关键客户经理拥有关键客户的业务账户，并将其他相关经理添加到账户团队。通过基于条件的共享规则，为支持代理提供所有账户的可见性。对于电表读数对象，可使用 Lightning 流将账户团队成员复制到相关属性记录，通过业务账户上的 Is_Key_Customer__c 标志控制。
- 关键客户经理应能够在特定时期内将客户账户的可见性委托给另一位经理 ：可通过两种方式实现：
- 定义新的账户团队角色，使用预定作业查询并删除超过允许期限的记录。
- 创建新的自定义对象，使用批处理作业根据自定义对象的设置创建或删除账户团队成员条目，通过 Apex 创建共享记录。选择第二种方式，因其更灵活且具有前瞻性。
- 投诉仅对处理它的代理及其经理可见 ：将投诉建模为案例，Case 对象的 OWD 设为私有，处理投诉的代理拥有该记录。可通过创建公共组和基于条件的共享规则，为指定用户提供投诉记录的可见性。
- 咨询应向所有支持代理可见 ：创建基于条件的共享规则，将所有咨询案例共享给支持代理角色。
- 维护合作伙伴的记录仅对支持代理可见 ：创建基于条件的共享规则，将相关账户共享给支持代理角色，访问级别设为只读。
- B2B 客户应能够管理与其账户相关的所有属性和电表 ：在数据模型设计中，使用共享集和 AccountContactRelation 记录实现。
- B2C 客户应能够管理与其相关的所有属性 ：使用 Person Accounts 表示 B2C 客户，利用共享集和 AccountContactRelation 记录允许社区用户访问多个属性。

通过以上步骤，我们完成了大部分复杂的场景需求，接下来将继续解决报告需求。

模拟场景解决方案：数据迁移、LDV 处理与安全访问分析

5. 数据迁移与 LDV 处理总结

在数据迁移和处理大体积数据对象（LDV）的过程中，我们采用了一系列有效的策略。数据迁移方面，针对遗留 CRM 中的大量客户和电表数据，运用不同的 MDM 风格和工具，确保数据的去重、筛选和关联。对于 LDV 对象，通过识别、计算和制定相应的缓解策略，保证数据在 Salesforce 平台内的高效存储和使用。

以下是数据迁移和 LDV 处理的关键步骤总结：
1. 数据迁移需求分析
- 明确客户数据去重、迁移活跃客户和关联 ERP 记录的任务。
- 回顾 MDM 实施风格，选择合适的工具进行数据处理。
- 处理电表数据的去重和迁移，更新相关架构和接口。
2. LDV 识别与处理
- 识别可能的 LDV 对象，计算记录数量。
- 制定缓解策略，选择 Salesforce Big Objects 进行存档。
- 利用 Informatica 完成存档工作。

6. 安全访问策略总结

7. 报告需求展望

虽然我们已经解决了大部分复杂的场景需求，但报告需求仍有待处理。报告需求通常涉及数据的可视化和分析，以帮助企业做出决策。以下是可能的报告需求及处理思路：
- 关键指标报告 ：根据业务需求，确定关键指标，如客户数量、销售数据、资产使用情况等。通过 Salesforce 的报表和仪表盘功能，将数据以直观的图表和表格形式展示。
- 数据趋势分析 ：对历史数据进行分析，识别数据的趋势和模式。可以使用数据挖掘和机器学习算法，预测未来的业务发展。
- 定制化报告 ：根据不同用户的需求，提供定制化的报告。可以通过创建自定义报表类型和仪表盘，满足特定用户的需求。

8. 整体流程总结

graph LR
    A[数据迁移需求分析] --> B[LDV 识别与处理]
    B --> C[安全访问需求分析]
    C --> D[报告需求处理]

在整个解决复杂业务场景的过程中，我们遵循了从数据迁移到安全访问再到报告需求的顺序。通过合理运用各种工具和策略，确保数据的准确性、安全性和可用性。未来，随着业务的发展和需求的变化，我们需要不断优化和调整解决方案，以适应新的挑战。

通过以上的分析和总结，我们可以更好地理解和应对复杂业务场景中的各种挑战，为企业的发展提供有力的支持。在实际应用中，我们需要根据具体情况灵活调整策略，确保解决方案的有效性和可行性。