qq_44988694的博客

目录前言前因数据量初步实现 前言 在最近的工作中，入行两年的我终于理解到了一个以往都不明白的事情：为什么相当一部分程序员回家就是睡觉。 我真的太累了。。。。好吧，虽然我自己的原因占大头。接下来就说明一下前因后果，以及流泪流血的过程。 前因 接续上一篇文章，我主要还是搞1.0系统到2.0系统的过渡。接口重构不用我管，我主要管基础数据的迁移和接收。 例如VIP数据，订单数据，好友数据等。 当然，在这之前我从来没搞过这类的迁移，对于mysql的知识也无法灵活运用，毕竟都没实际接触到过对应的场景。 数据量 1.

数据同步相关的踩坑记录前言需求描述设计任务说明 (肯定不能太详细)调研数据同步的踩坑记录 前言 已经有将近仨月没更新博客了, 这三个月我换了两份工作了. 最近入职的这家公司让我搞数据异构同步的方案和逻辑. 因为数据清洗是相当复杂的, 再加上要熟悉公司的业务和技术, 所以这三个月一直没有来得及更新. 废话不多说了, 直接来看看我们的需求. 需求描述 我们需要收集数据进行分析, 因此需要从其他的系统中获取数据. 根据数据种类, 一共分为了3种操作: 使用数据同步工具, 直接监听mysql的binlog进行数据