海量智库第33期 | exBase增量数据迁移：冲突解决之道

在异构数据库数据同步的复杂场景中，数据冲突是常见且棘手的问题。

exBase作为一款强大的异构数据库增量数据迁移系统，通过其采集端和写入端的紧密协作，实现了高效、稳定的数据迁移。然而，面对源库与目标库之间可能存在的数据冲突，如何确保迁移任务能够顺利进行，成为我们必须面对的挑战。

本文将深入探讨exBase在异构数据库数据同步过程中，如何有效解决数据冲突问题，呈现一个清晰、系统的解决方案。

问题篇

1  数据冲突类型

在异构数据库数据同步过程中，常见的数据冲突主要包括：

• 主键冲突/唯一键冲突：当源库中的某条数据尝试插入到目标库时，如果目标库中已存在具有相同主键或唯一键的数据，那么插入操作将会失败。
• Delete/Update 0 row：当尝试删除或更新目标库中的数据时，如果目标库中并不存在对应的数据行，操作将不会影响任何行，进而会导致同步任务出现异常。

2 问题影响

数据冲突不仅会导致同步任务中断，还可能引发数据不一致、数据丢失等严重后果，严重影响业务系统的稳定性和数据的完整性。

3 问题定位逻辑

注释

除MySQL外，其他数据可以根据异常信息的内容直接定位到问题数据。

当出现主键冲突时，MySQL无法直接定位问题数据，可根据约束的冲突key和value定位，当非主键/唯一键冲突出现batchUpdateException时，根据异常的message的at row字符定位出现问题的数据。

解决方案篇

exBase针对数据冲突问题，提供了自动跳过/覆盖和手动跳过/覆盖两种处理方式，确保同步任务能够继续运行。同时，系统还提供了异常信息查询功能，方便用户定位和解决数据冲突。

具体细节如下：

1 自动处理策略

• 配置策略：在系统配置中，用户可以预先设置数据冲突的处理策略（跳过/覆盖）。
• 异常定位：当发生数据冲突时，系统根据数据库返回的异常信息或SQL执行结果，定位到发生冲突的数据。
• 异常上报：将异常数据记录并上报至任务调度层，采用Kafka方式上报。
• 策略应用：任务调度层根据系统配置的策略，调用写入端的check接口，传输需处理的数据及处理策略。写入端根据策略对冲突数据进行处理，并再次尝试应用。

2 手动处理策略

• 任务中止：当任务因数据冲突异常中止且未配置处理策略时，系统停止写入端，上报错误信息。
• 手动配置：用户通过系统界面或API接口，手动设置冲突处理策略。
• 策略应用与重试：系统调用写入端的check接口，传输需处理的数据及处理策略。写入端根据策略处理冲突数据，并尝试重新拉起写入端。

3 冲突事件处理

• 插入时数据冲突：根据策略选择跳过或覆盖目标库中已存在的数据。
• 更新时数据冲突：根据策略选择跳过或更新目标库中的数据。
• 更新时未找到数据：根据策略选择跳过或记录异常信息。
• 删除时未找到数据：根据策略选择跳过或记录异常信息。

方案实现图如下：

效果篇

1 方案优势

• 自动化处理：通过预先配置的处理策略，实现数据冲突的自动化处理，减少人工干预。
• 灵活性：支持自动和手动两种处理方式，满足不同场景下的需求。
• 高效性：通过Kafka等高效中间件，实现异常信息的快速上报和处理，提高同步效率。
• 可查询性：提供异常信息查询功能，方便用户定位和解决数据冲突。

2 实际应用效果

在实际应用中，exBase的冲突解决方案取得了显著的效果：

• 任务成功率提升：通过自动化处理和灵活的策略配置，显著提高了同步任务的成功率。
• 数据一致性保障：有效避免了数据冲突导致的数据不一致和数据丢失问题。
• 业务稳定性增强：减少了因数据同步问题导致的业务系统中断和故障。

随着技术的不断进步和业务需求的不断变化，exBase将继续优化和完善其冲突解决方案。未来，我们将探索更加智能、高效的冲突处理算法和技术手段，以更好地满足用户对异构数据库数据同步的需求。

在异构数据库数据同步的复杂场景中，数据冲突是一个不可忽视的问题。exBase通过其强大的冲突解决方案，为用户提供了一个高效、稳定、灵活的迁移平台。

我们相信，在未来的发展中，exBase将继续引领异构数据库数据同步技术的发展潮流，为更多用户提供优质的迁移服务。