sinat_15793123的博客

前言目前各个公司都在使用基于myql为关系型数据存储，ES提供快速检索排序的数据查询流程。所以，在使用ES查询时，实时同步Mysql数据就成为了这一套检索流程的重中之重。设计思路使用mysqlbingLog解析工具，模拟slave做到binlog无丢失，实时获取数据变动 使用消息中间件kafka，rabbitmq等作为数据传输，暂存工具 使用流式数据处理工具，strom，spa...

mysql 5.7的升级

问题：目前在以5.5为主5.7为从的架构上，主从同步良好，但一些系统参数无法使用解决办法：由于主从没有问题，表示目前数据没有问题，主从良好，只是没有适应5.7的数据库特性。持续监控主从，在低写入的情况下用mysqldump导出纯数据利用5.7重新建立数据库，将数据导入5.7新库中，完成对系统性能的支持具体操作如下：

maxwell可以模拟mysqlslave获取binlog，对binlog进行解析，变成json格式{"database":"taskcenter","table":"lts_admin_job_tracker_monitor_data","type":"insert","ts":1535090880,"xid":1555704593,&quot