勇往直前的专栏

Canal定位：基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql。原理： canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议 mysql master收到dump请求，开始推送binary log给slave(也就是canal) canal解析binary log对象(原始为byte流) 整个parser过程大致可分为几步： Connection获取上一次

作者：Throwable来源：juejin.im/post/5e6a6746f265da575c16d678近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。这.

引言为什么写这篇文章?大家当年在学MySQL的时候，为了能够迅速就业，一般是学习一下MySQL的基本语法，差不多就出山找工作了。水平稍微好一点的童鞋呢还会懂一点存储过程的编写，又或者是懂一点索引的创建和使用。但是呢，基本上大家都忽略了对底层知识的学习。为什么呢？因为工作中很少用到嘛。然后呢，市面上流传的大部分这种底层的知识，又比较偏运维，研发懂这么多意义也不是太大，很多知识可能这辈子都不会...

本文主要介绍MySQL的binlog二进制文件的解析，目的是更好的了解binlog文件的构成并做相应的二次开发，并帮助对主从复制机制有更多理解。以下内容基于row的日志格式。操作系统redhat7，MySQL版本5.7.17，开启GTID。一 Binlog生成在MySQL中执行flush logs，并执行以下操作。mysql> create database ab...

引言这篇是《研发应该懂的binlog知识(上)》的下半部分。在本文，我会阐述一下 binlog的结构，以及如何使用 java来解析 binlog。 不过，话说回来，其实严格意义上来说，研发应该还需要懂如何监听binlog的变化。我本来也想写这块的知识，但是后来发现，这块讲起来篇幅过长，需要从 mysql的通讯协议开始讲起，实在是不适合放在这篇文章讲，所以改天抽时间再写一篇监听 binlog变化...

作者：田守枝来自：田守枝的博客（公众号）本文深入介绍Mysql Binlog的应用场景，以及如何与MQ、elasticsearch、redis等组件的保持数据最终一致。最后通过案例深入分析binlog中几乎所有event是如何产生的，作用是什么。1 基于binlog的主从复制Mysql 5.0以后，支持通过binary log(二进制日志)以支持主从复制。复制允许将来自一个...