大壮的博客

本篇不讨论 canal和maxwell的区别，github上面可以看到源码，并且查看项目的基本背景。首先说报错吧，第一次遇到权限不够的情况：无法找到某某某不用的数据库这是因为maxwell给予binlog级别，且需要采集mysql实例创建maxwell数据库，所以，需要有全库的 *.* 赋权其次是及时全库表可读，也会需要 one of super replication这里要注意，super肯定是不能给的。可以赋 replication权限然...

编码前的思考maxwell监控所有库所有表的binlog，其实是没有什么用的。而且一个比较简单的指标，总归是容易实现的，对数据的sql时序性也来思考一下。前面文章说过，先update和先delete是不一样的，还有，对于是否会丢数据也要思考。首先我们要nohup一下maxwell了，而且，我们要监控如果数据库不在同一个节点，能不能拿到mysql的binl...

调研过flume，目前采用datax，但是都是具有侵入式，即使再增量也会影响服务器性能，详细藐视可以查看我以前的文章。调研flume、cannal、outter、maxwell最后无侵入式的，实时的。主要区别：1、虽然Maxwell不能直接支持HA，但是它支持断点还原，即错误解决后重启继续上次点儿读取数据。2、Canal是服务端，数据过来了并不能直接写出去，需要一个客户端：s...