高云平的博客

文章目录概述DTS数据订阅canal使用安装配置数据库源阿里云mq配置启动概述开发有个需求是需要观察记录部分表的变化情况，频繁的去查取很麻烦，所以想要一个binlog订阅，消费binlog来记录变化，考虑到阿里云的产品dts需要收费，所以选择用开源工具canal实现DTS数据订阅关于MySQL的binlog订阅，阿里云的数据传输DTS有实现相关功能，就是数据订阅功能基本的过程就是1、创建一个数据订阅实例2、配置数据订阅的源信息和网络类型3、配置需要订阅的数据类型和订阅对象4、利用消息订阅等

背景1、线上使用的是阿里云的RDS for MySQL，导入其数据库至线下，因为数据量不大，所以采用的是逻辑备份的方式。2、在控制台进行手动备份，然后下载下来，上传至本地服务器，准备导入数据3、本地环境是一组两备的mysql集群，主备状态正常GTID限制在导入的时候数据的时候发现报错ERROR 1840 (HY000) at line 24: @@GLOBAL.GTID_PURGED can only be set when @@GLOBAL.GTID_EXECUTED is empty.

文章目录概述如何开启权限赋予相关信息测试创建定时循环任务定某一时刻执行多个SQL概述MySQL的EVENT 是根据计划运行的任务，类似于Linux上的crontab 任务主要具有以下属性mysql中，定时事件的对象是全局唯一的event根据时间表来执行操作，包含一个SQL操作，也可以使用begin,end 实现多个SQL的复合执行event 的权限（创建修改和删除）进行控制赋予可以...

文章目录概述环境信息搭建步骤主库的相关配置搭建备库建立主备连接查看备库的状态概述学习一下MySQL搭建备库主从复制就是从库利用主库的binlog进行实时的恢复1、从库启动一个线程，连接主库io线程2、主库接受连接，启动一个线程dump线程3、dump线程读取binlog，将binlog日志传给从库的io线程4、io线程将接收到的binlog日志，写入到从库的relaylog日志中5...

文章目录概述客户优化场景测试过程建表生成测试数据SQL测试覆盖索引mysql的索引特点覆盖索引的优化及限制后记概述在最近的运维中，遇到一个慢SQL优化的问题，用户一个简单的SQL跑了30多秒，而我在尝试性的使用已有的其他索引进行查询后，SQL优化到了毫秒级别。这是意外的优化效果，而我却不知道原因，索引决定学习测试一下。客户优化场景客户的SQL很简单，就只是取出范围时间内，规定id范围内的所...

文章目录概述锁的定义innodb中锁的类型latch的优化MySQL表锁的优化innodb行锁的优化死锁优化结语概述在一般的数据库驱动的业务中，很大的一个难点就是：在最大程度地利用数据库的并发访问的同时，还要确保每个用户能以一致的方式读取和修改数据，为此，MySQL就有了锁（locking）的机制。频繁出现的锁的不仅本身消耗着资源，也影响着数据库的运行性能，因此，做好数据库的锁优化，对于数据库...

文章目录概述MySQL复制的优点MySQL复制的类型主备通用设置主库上的设置备库上的设置创建复制用户备库上的数据使用mysqldump使用 XtraBackup全备搭建主从建立备库连接半同步复制概述安装插件延迟复制概述信息显示概述之前学过MySQL主备的简单搭建，内容很少，这次就从官方手册的介绍系统的学习一下MySQL主备复制的相关知识MySQL复制的优点横向扩展解决方案：在多个从库之...

文章目录概述测试环境测试表插入测试数据开始测试使用表连接临时表+存储过程使用函数概述前几日有客户咨询关于mysql实现递归查询的方法，当时简单了解了一下，觉得递归查询逻辑层面一种特殊查询方式。但是后来才发现这是一种很常见的查询需求，例如某些评论楼层的折叠显示、各类流程图等用递归查询都能实现。但是MySQL本身而言是没有实现递归查询功能，但是可以通过一些特殊的方法来实现此功能，本文就简单测试一些...

文章目录概述测试数据索引问题date与datetime字段类型转换导致的索引失效总结概述最近发现一个有趣的SQL优化场景，分享一下测试数据表结构CREATE TABLE `news_webpage` ( `id` int(11) NOT NULL AUTO_INCREMENT, `t1` varchar(100) DEFAULT NULL, `t2` text, `t2_...