数据同步实战篇

数据同步-实战篇

• 数据作为系统运行的核心资产，数据同步则是保障数据一致性、可用性的关键纽带。无论是mysql关系型数据库的结构化数据迁移，还是redis缓存数据的高效同步；无论是mq消息队列中数据的可靠流转，亦或是es搜索引擎数据的实时更新，每一种数据同步场景都蕴涵了丰富的经验。从解决数据延迟、冲突，到保障数据完整性与实时性，不同类型的数据同步各有其道。

1. mysql数据同步

1.1 mysql集群部署

• 如上图所示，mysql集群式部署，一般采用分片库，对于不需要分片的数据表，使用其中的单个分片即可。
• 使用分片表时，根据分片字段路由到不同的分片，然后执行对应的读写逻辑。

1.2 数据同步

mysql数据同步，如上图，一般分为同步复制、半同步复制、异步复制。主要依赖于binlog，relay log。

1.2.1 同步复制

原理：在同步复制模式下，主服务器在执行完客户端提交的事务后，会等待至少一个从服务器确认已经接收并将该事务的二进制日志写入到中继日志（relay log）中，才会将结果返回给客户端。只有当从服务器确认后，主服务器才会认为事务提交成功。
优点：数据一致性高。由于主服务器会等待从服务器的确认，因此可以确保在主服务器提交事务时，至少有一个从服务器已经拥有了该事务的数据，大大降低了数据丢失的风险。
缺点：性能较低。因为主服务器需要等待从服务器的响应，这会增加事务的提交时间，尤其是在网络延迟较高的情况下，性能影响更为明显。
适用场景：对数据一致性要求极高的场景，如金融交易系统、核心业务