demonson的专栏

【代码】MySQL自动化分区新增数字时间戳类型。

1. 通用表表达式（Common Table Expressions）可改为以下写法：2. 窗口函数（Window Functions）3.隐藏函数ALTER TABLE TABLENAME ALTER INDEX IDXNAME INVISIBLE;ALTER TABLE TABLENAME ALTER INDEX IDXNAME VISIBLE;4.重构 BLOB加速了片段读取/更新操作，可以加速 JSON 数据的操作...

容灾方案目前有以下三种容灾方案可供参考：主从半同步复制+手动切换方案介绍：由两台服务器上的数据库实例搭建主从架构，两个实例之间的数据同步使用MySQL半同步复制机制。主机绑定VIP，在主库故障后手动将VIP绑定至备机，将上层请求切换至备库，备库写入数据后成为新主，原主实例恢复后成为新主的备库，具体架构图如下：优点：不存在VIP漂移问题，规避因底层同步延时导致的数据不一致。缺点：故障时需要人工介入，效率低。主从半同步复制+keepalived自动切换方案...

1.查看镜像源docker search mysqlNAME DESCRIPTION STARS OFFICIAL AUTOMATEDmysql MySQL is a widely used, open-source relation… 11028

官网https://www.percona.com/doc/percona-xtrabackup/2.4/backup_scenarios/incremental_backup.html备份目录/data/backups/base --基础备份/data/backups/inc1 --一级增量备份/data/backups/inc2 --二级增量备份备份$ xtrabackup --backup --target-dir=/data/backups/basebacku

架构：结点 版本 IP 端口 主机名 主 MySQL8.0 192.168.8.222 3306 cdh1 备 MySQL8.0 192.168.8.224 3306 cdh3 vip 192.168.8.230 编辑编辑1.搭建MySQL GTID+row+增强半同步编辑222结点数据库配置文件[root@cdh1 ~]# cat /etc/my.cnf...

innodb事务日志包括redo log和undo log。redo log是重做日志，提供前滚操作，undo log是回滚日志，提供回滚操作。undo log不是redo log的逆向过程，其实它们都算是用来恢复的日志：1.redo log通常是物理日志，记录的是数据页的物理修改，而不是某一行或某几行修改成怎样怎样，它用来恢复提交后的物理数据页(恢复数据页，且只能恢复到最后一次提...

一、innobackupex备份与恢复简介1、innobackupex参数说明--compress：该选项表示压缩innodb数据文件的备份。--compress-threads：该选项表示并行压缩worker线程的数量。--compress-chunk-size：该选项表示每个压缩线程worker buffer的大小，单位是字节，默认是64K。--encrypt：该选项表示...

1. 何谓Galera Cluster何谓Galera Cluster？就是集成了Galera插件的MySQL集群，是一种新型的，数据不共享的，高度冗余的高可用方案，目前Galera Cluster有两个版本，分别是Percona Xtradb Cluster及MariaDB Cluster，都是基于Galera的，所以这里都统称为Galera Cluster了，因为Galera本身是具有多主...

https://www.cnblogs.com/pangguoming/tag/mysql/

MySQL高可用之MHA的搭建 MySQL MHA架构介绍：MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库...

 五大常见的MySQL高可用方案1. 概述我们在考虑MySQL数据库的高可用的架构时，主要要考虑如下几方面：1.1 如果数据库发生了宕机或者意外中断等故障，能尽快恢复数据库的可用性，尽可能的减少停机时间，保证业务不会因为数据库的故障而中断。1.2 用作备份、只读副本等功能的非主节点的数据应该和主节点的数据实时或者最终保持一致。1.3 当业务发生数据库切换时，切换前后的数据库...

本文介绍最近几年美团点评MySQL数据库高可用架构的演进过程，以及我们在开源技术基础上做的一些创新。同时，也和业界其它方案进行综合对比，了解业界在高可用方面的进展，和未来我们的一些规划和展望。MMM在2015年之前，美团点评（点评侧）长期使用MMM（Master-Master replication manager for MySQL）做数据库高可用，积累了比较多的经验，也踩了不少坑，可以...

这篇文章主要介绍了批量杀死MySQL连接的四种方法详解,本文分别给出了代码实例,需要的朋友可以参考下 方法一　　通过information_schema.processlist表中的连接信息生成需要处理掉的MySQL连接的语句临时文件，然后执行临时文件中生成的指令。复制代码 代码如下:mysql> select concat('KILL ...

转自：http://hamilton.duapp.com/detail?articleId=47 简介       GTID是MySQL 5.6的新特性，其全称是Global Transaction Identifier，可简化MySQL的主从切换以及Failover。GTID用于在binlog中唯一标识一个事务。当事务提交时，MySQL Server在写binlog的时候，会先写一个特殊的Bin...

并发复制（Parallel Replication）  Enhanced Multi-threaded Slaves首先梳理下传统MySQL/MariaDB主备复制基本原理：        主从复制通过三个线程来完成，在master节点运行的binlog dump的线程，I/O线程和SQL线程运行在slave 节点        master节点的Binlog du...

　　今天在实验室的电脑上安装MySQL5.7的时候，下载了ZIP版，在配置好环境变量之后遇到了不知道初始密码的问题，查找了很多帖子都不行，最后这样解决了问题：　　1.在MySQL的安装目录下（例如：D:\develop\mysql-5.7.19-winx64）手动新建一个文件，命名为my.ini，再新建一个文件夹data，my.ini文件中，复制内容如下：　　[mysql] # 设置mysql...

环境：centos 6.5  64mysql 5.5.20 升级 5.6.25mysql 5.5.20安装参考：http://blog.youkuaiyun.com/u010098331/article/details/50730391mysql 5.6.25安装参考：     http://blog.youkuaiyun.com/u010098331/article/details/50886619CentOS系统下将...

在MySQL或MariaDB中，任意时间对数据库所做的修改，都会被记录到日志文件中。例如，当你添加了一个新的表，或者更新了一条数据，这些事件都会被存储到二进制日志文件中。二进制日志文件在MySQL主从复合中是非常有用的，主服务器会发送其数据到远程服务器中。当你需要恢复MySQL时，也会需要使用到二进制日志文件。mysqlbinlog 命令，以用户可视的方式展示出二进制日志中的内容。同时，也可以将其...

MySQL主从复制的备库延迟一直是非常头疼的问题，MySQL5.7官方版推出多线程复制。但是无独有偶，前期测试MySQL5.7.12， 发现有CRASH的情况，所以一直没有着手研究测试MySQL5.7，提交官方BUG（https://bugs.mysql.com/81445），在等了五个月以后终于解决，在MySQL5.7.16版本CRASH的情况没有发生，并且持续压测了48小时，TPS，日志告警，...

主要模块及数据流经过多年的发展，mysql的主要模块已经稳定，基本不会有大的修改。本文将对MySQL的整体架构及重要目录进行讲述。源码结构（MySQL-5.5.0-m2） BUILD: 内含在各个平台、各种编译器下进行编译的脚本。如compile-pentium-debug表示在pentium架构上进行编译的脚本。Client: 客户端工具，如mysql, mysqladmin之类。Cmd-lin...

有哪些做得好，又注重分享的公司： Oracle MySQL， MariaDB， Percona，Google， FB， Twitter， Taobao， NetEase…有哪些值得关注的个人： Mark Callaghan、 Jeremy Cole、 Dimitri、 Peter ,Zaitsev、 Yoshinori Matsunobu …微博上有哪些值得关注的账号： @姜承尧、 @淘宝...

mysql主从复制配置配置思路1. 修改master和slave的配置文件，使用二进制日志，指定serverid目的是让各自都有了自己的唯一标示，并以二进制文件格式进行交流2. master中创建授权用户，查看二进制日志文件名，及最新位置让slave知道用哪个用户信息访问master，知道读取哪个日志文件，及从哪儿开始读3. slave中使用被授权用户信息及日志文件信息，进行指向master这时已...

xtrabackup自动全备份脚本,具有发送邮件和主从判断功能.##set environment##. ~/.bash_profileBASEDIR="/data_bak" SPACE_RATE=95        #space rate 95SPACE_ROOM=10485760  #10GBWORKPATH=/data_bak/mysqlbackup/perconaDATETIME=`dat...

MySQL 主从同步错误（error）解决(转)sql_slave_skip_counter参数 附：一些错误信息的处理，主从服务器上的命令，及状态信息。在从服务器上使用show slave status\GSlave_IO_Running,为No,则说明IO_THREAD没有启动，请执行start slave io_threadSlave_SQL_Running为No则复制出错,查看Last_e...

这篇文章主要介绍了Mysql 5.7从节点配置多线程主从复制的相关资料，文中介绍的非常详细，对大家具有一定的参考价值，需要的朋友们下面来一起看看吧。 前言Mysql 采用多线程进行复制是从 Mysql 5.6 开始支持的内容，但是 5.6 版本下有缺陷，虽然支持多线程，但是每个数据库只能一个线程，也就是说如果我们只有一个数据库，则主从复制时也只...

今天凌晨，公司的一台MySQL生产库备份时间从2:30一直备份到8:30，正常情况下这个备份应该只会备份20分钟，3:00之前就会备份完毕，但是这次备份时间太长了，也影响了公司业务的使用。先写一下公司的备份语句mysqldump -uroot -p123456 --opt --master-data=2 -R dbname | gzip >/data/dbname.sql.gz分析一下上面这...

MySQL MHA架构介绍：MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的...

TPCC-MySQL输出结果详解前面的一篇文章介绍了测试工具tpcc-mysql的安装与使用,奈何网上基本没有对于tpcc-mysql 结果的分析，本文介绍如何对测试结果进行分析:一 测试例子[root@rac1 tpcc-mysql]# tpcc_start  -hlocalhost  -d tpcc  -u root  -p '' -w 5  -c  5  -r 120   -l ...

tpcc-mysql用于MySQL基准测试，percona基于TPC-C(下面简写成TPCC)衍生出来的产品。下面对tpcc-mysql进行安装然后使用，最后结果解读，安装very easy,let 's do it。一、下载epel源[root yum.repos.d]$ rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/ep...

用mysql实现类似于oracle dblink的功能首先看看有没有federated 引擎。mysql> show engines;+------------+----------+----------------------------------------------------------------+| Engine | Support | Comment...

1.先简单介绍下环境操作系统：windows 2008 R2 (64bits)oracle数据库：10gr2 10.2.0.3.0（32bits）mysql数据库：5.1 (32bits)2.下载mysql的odbc驱动，我用的是mysql-connector-odbc-5.3.4-win32并安装注意：一定要32bits,oracle因为是32bits的所有该使...

MySQL调优之innodb_buffer_pool_size大小设置相关查看命令sql> show global variables like 'innodb_buffer_pool_size';sql> show global status like 'Innodb_buffer_pool_pages_data';sql> show global status lik...

安装下载安装包：wget    https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz安装依赖包：yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel cmake## mydumper是C语句开发，编译依赖gc...

本篇文章主要介绍搭建MMM方案以及MMM架构的原理。这里不介绍主从、主主的搭建方法，MMM方案不适用对数据一致性要求很高的业务。下面一起来学习学习。先来看看架构，如下图：部署1.修改hosts在所有的服务器中执行相同的操作。vim /etc/hosts192.168.137.10 master192.168.137.20 backup192.168.137.3...

一、背景公司数据中心从托管机房迁移到阿里云，需要对MySQL迁移（Replication）后的数据一致性进行校验，但又不能对生产环境使用造成影响，pt-table-checksum成为了绝佳也是唯一的检查工具。所以就利用pt-table-checksum工作来检查主从的一致性，以及通过pt-table-sync如何修复这些不一致的数据。pt-table-checksum是Percona-T...

部署mysql工具是一个非常重要的部分，所以工具的可靠性和很好的设计非常重要。percona toolkit是一个有30多个mysql工具的工具箱。兼容mysql,percona server,mariadb；它可以帮助DBA自动化的管理数据库和系统任务。因为他有很多工具，所以从哪里开始是一个难题，因为这个原因，所以我们下面介绍一些可能会常用到的percona toolkit工具集。安装per...

一、工具介绍pt-query-digest是用于分析mysql慢查询的一个工具，它可以分析binlog、General log、slowlog，也可以通过SHOWPROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析。可以把分析结果输出到文件中，分析过程是先对查询语句的条件进行参数化，然后对参数化以后的查询进行分组统计，统计出各查询的执行时间、次数、占比等，可以借助分析...

pt-duplicate-key-checker这款工具也是percona-toolkit中一款非常适用的工具，它可以帮助你检测表中重复的索引或者主键。我们知道索引会更查询带来好处，但是过量的索引反而可能会使数据库的性能降低，这款工具可以帮助我们找到重复的索引并且还会给你删除重复索引的建议语句，非常好用。首先看我的这张表的索引结构mysql> show index from test...

安装percona-toolkit-3# yum localinstall percona-toolkit-3.0.3-1.el6.x86_64.rpm perl-TermReadKey.x86_64 0:2.30-13.el6 -y 1.pt-summary #显示和系统相关的基本信息：[root@master ~]# pt-summary # Percona Tool...