demonson的专栏

【代码】MySQL自动化分区新增数字时间戳类型。

功能：指定清空之前某一天的数据，直接调用存储过程实现。清空test.t_001一天前的单个分区数据。

MySQL 5.7.10升级到 8.0.23过程遇到的问题

MySQL5.7升级到8.0

postgresql和mysql对比

容灾方案目前有以下三种容灾方案可供参考：主从半同步复制+手动切换方案介绍：由两台服务器上的数据库实例搭建主从架构，两个实例之间的数据同步使用MySQL半同步复制机制。主机绑定VIP，在主库故障后手动将VIP绑定至备机，将上层请求切换至备库，备库写入数据后成为新主，原主实例恢复后成为新主的备库，具体架构图如下：优点：不存在VIP漂移问题，规避因底层同步延时导致的数据不一致。缺点：故障时需要人工介入，效率低。主从半同步复制+keepalived自动切换方案...

背景开发库迁移部署时，需要部署的库越来越多，部署是需要统一修改目标库名称，根绝创建用户统一修改存储过程所有者，所以此脚本在于快速解决这一问题脚本vim imex.sh#!/bin/sh#导入环境变量PATH=/usr/local/mysql/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/bin:/sbin:~/binexport PATH#备份路径和需要备份数据库的记录文件BACKUP_PATH='/opt/

innodb事务日志包括redo log和undo log。redo log是重做日志，提供前滚操作，undo log是回滚日志，提供回滚操作。undo log不是redo log的逆向过程，其实它们都算是用来恢复的日志：1.redo log通常是物理日志，记录的是数据页的物理修改，而不是某一行或某几行修改成怎样怎样，它用来恢复提交后的物理数据页(恢复数据页，且只能恢复到最后一次提...

一、innobackupex备份与恢复简介1、innobackupex参数说明--compress：该选项表示压缩innodb数据文件的备份。--compress-threads：该选项表示并行压缩worker线程的数量。--compress-chunk-size：该选项表示每个压缩线程worker buffer的大小，单位是字节，默认是64K。--encrypt：该选项表示...

1. 何谓Galera Cluster何谓Galera Cluster？就是集成了Galera插件的MySQL集群，是一种新型的，数据不共享的，高度冗余的高可用方案，目前Galera Cluster有两个版本，分别是Percona Xtradb Cluster及MariaDB Cluster，都是基于Galera的，所以这里都统称为Galera Cluster了，因为Galera本身是具有多主...

orzdba的安装--orztop工具也可以看看（实时查看当前processlist和full processlist）只能在本地服务器上运行，因为使用tcprstat收集信息 源码地址http://code.taobao.org/svn/orzdba/trunk/ # chmod +x orzdba  tcprstat工具安装与使用 使用方法：...

mysqladmin是MySQL一个重要的客户端，最常见的是使用它来关闭数据库，除此，该命令还可以了解MySQL运行状态、进程信息、进程杀死等。本文介绍一下如何使用mysqladmin extended-status(因为没有"歧义"，所以可以使用ext代替)了解MySQL的运行状态。目录 [hide]1. 使用-r/-i参数 2. 配合grep使用 3. 配合简单的awk使用 4....

结构如下： 热备分为逻辑备份和裸文件备份。 裸文件备份比逻辑备份在速度上更快一些，因为它在底层复制数据文件。世界上唯一一款开源的，能够对INNODB和XtrDB数据库进行热备的开源工具。 他的优点是备份与恢复过程的速度很快，安全可靠并且咋备份过程中不会锁表，不影响现有业务。但是目前还是不能对表结构文件和其他非事物类型的表进行备份。Xtrabackup包含了两个主要工...

测试准备1、安装xtrabackup工具       以下测试安装xtrabackup备份恢复工具的二进制包，进行测试。安装的路径为mysql安装路径，本次测试mysql的安装路径为：/home/q/percona-server/。 tar -xzf percona-xtraback-2.0.0-x86-64.tar.gz cp percona-xtrabackup-2....

一、参数优化上图为mysql innoodb引擎整体架构innodb_buffer_pool_size： 越大命中率越高，一般系统的75%innodb_buffer_pool_instances：大内存时常用，提高并发--将innodb_buffer_pool划分为不同的instance--每个instance独立的LRU、FLUSH、FREE--独立的mutex控制...

一、工具fio:测试Linux磁盘IO性能；tpcc-mysql:只针对mysql的测试工具，很权威；dbt2：比较全面会统计出系统的资源情况，可以对postgresql，mysql等数据库压测；sysbench：不仅压测数据库，还可以压测系统的资源，传统只针对单个表的压测，tpcc                  只是固定模型，并不符合实业务逻辑，所以可以使用sysbenc...

tpcc-mysql用于MySQL基准测试，percona基于TPC-C(下面简写成TPCC)衍生出来的产品。下面对tpcc-mysql进行安装然后使用，最后结果解读，安装very easy,let 's do it。一、下载epel源[root yum.repos.d]$ rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/ep...

TPCC-MySQL输出结果详解前面的一篇文章介绍了测试工具tpcc-mysql的安装与使用,奈何网上基本没有对于tpcc-mysql 结果的分析，本文介绍如何对测试结果进行分析:一 测试例子[root@rac1 tpcc-mysql]# tpcc_start  -hlocalhost  -d tpcc  -u root  -p '' -w 5  -c  5  -r 120   -l ...

安装下载安装包：wget    https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz安装依赖包：yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel cmake## mydumper是C语句开发，编译依赖gc...

MySQL MHA架构介绍：MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的...

环境介绍Part1:写在最前截止本文撰写当日，MySQL5.7.16是官网的最新稳定版，本文将用MySQL5.7.16来进行演示。从MySQL5.6开始，支持了GTID复制模式，这种模式其实是把双刃剑，虽然容易搭建主从复制了，但使用不当，就容易出现一些错误，例如error 1236。在MySQL5.6如果开启GTID模式，需要在my.cnf中加入以下几个参数：①log-bin=m...

在MySQL数据库中，在进行数据迁移和从库只读状态设置时，都会涉及到只读状态和Master-Slave主从关系设置, 以下针对real_only只读属性做些笔记记录:1) 对于MySQL单实例数据库和master库，如果需要设置为只读状态，需要进行如下操作和设置：将MySQL设置为只读状态的命令（可以登录mysql执行下面命令， 或者在my.cnf配置文件中添加"read_only=1",然...

一，创建用户: 命令:CREATE USER 'username'@'host' IDENTIFIED BY 'password'; 说明:username - 你将创建的用户名, host - 指定该用户在哪个主机上可以登陆,如果是本地用户可用localhost, 如果想让该用户可以从任意远程主机登陆,可以使用通配符%. password - 该用户的登陆密码,密码可以为空,如果为空...

用mysql实现类似于oracle dblink的功能首先看看有没有federated 引擎。mysql> show engines;+------------+----------+----------------------------------------------------------------+| Engine | Support | Comment...

1.先简单介绍下环境操作系统：windows 2008 R2 (64bits)oracle数据库：10gr2 10.2.0.3.0（32bits）mysql数据库：5.1 (32bits)2.下载mysql的odbc驱动，我用的是mysql-connector-odbc-5.3.4-win32并安装注意：一定要32bits,oracle因为是32bits的所有该使...

MySQL调优之innodb_buffer_pool_size大小设置相关查看命令sql> show global variables like 'innodb_buffer_pool_size';sql> show global status like 'Innodb_buffer_pool_pages_data';sql> show global status lik...

使用 mysqldump 备份数据库时避免锁表1.导出表时默认会枷锁备份数据库时  用 命令 mysqldump -u user -p xxx>xxx.sql发现没有完全备份数据库记录，加上  --skip-opt选项后好了对一个正在运行的数据库进行备份请慎重！！ 如果一定要 在服务运行期间备份，请添加 --skip-opt选项，类似执行： mysqldump --skip-...

本篇文章主要介绍搭建MMM方案以及MMM架构的原理。这里不介绍主从、主主的搭建方法，MMM方案不适用对数据一致性要求很高的业务。下面一起来学习学习。先来看看架构，如下图：部署1.修改hosts在所有的服务器中执行相同的操作。vim /etc/hosts192.168.137.10 master192.168.137.20 backup192.168.137.3...

一、背景公司数据中心从托管机房迁移到阿里云，需要对MySQL迁移（Replication）后的数据一致性进行校验，但又不能对生产环境使用造成影响，pt-table-checksum成为了绝佳也是唯一的检查工具。所以就利用pt-table-checksum工作来检查主从的一致性，以及通过pt-table-sync如何修复这些不一致的数据。pt-table-checksum是Percona-T...

部署mysql工具是一个非常重要的部分，所以工具的可靠性和很好的设计非常重要。percona toolkit是一个有30多个mysql工具的工具箱。兼容mysql,percona server,mariadb；它可以帮助DBA自动化的管理数据库和系统任务。因为他有很多工具，所以从哪里开始是一个难题，因为这个原因，所以我们下面介绍一些可能会常用到的percona toolkit工具集。安装per...

一、工具介绍pt-query-digest是用于分析mysql慢查询的一个工具，它可以分析binlog、General log、slowlog，也可以通过SHOWPROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析。可以把分析结果输出到文件中，分析过程是先对查询语句的条件进行参数化，然后对参数化以后的查询进行分组统计，统计出各查询的执行时间、次数、占比等，可以借助分析...

一、 开放性 1. SQL Server 只能在windows上运行，没有丝毫的开放性，操作系统的系统的稳定对数据库是十分重要的。Windows9X系列产品是偏重于桌面应用，NT server只适合中小型企业。而且windows平台的可靠性，安全性和伸缩性是非常有限的。它不象unix那样久经考验，尤其是在处理大数据库。 2. Oracle 能在所有主流平台上运行（包括 windows）。完...

昨天，我不小心，在没有完全沟通的情况下，直接删除了一个库，导致同事辛苦了一周的数据丢失，由于是整个库都删掉了，所以并不是单纯的去找误操作的日志，然后根据操作sql，去回滚数据。好歹会后恢复了。下面就根据我恢复的经历，讲一下mysql数据库数据恢复的方法： 1. 首先，我慌的不行，还好有人提醒我还有binlog日志可以恢复数据，我才恍然大悟，以前没发生过这种事，还没遇到过，环境如下：...

12今天在进行mysql备份实验时，通过mysqldump命令将主机host1中的所有数据库备份到主机Host2中，在执行命令时出现了如下错误信息。12345[root@localhost tmp]# mysqldump -h 192.168.5.22 -u root --password=1234 --all-databases| mysql -h 192.168.5.33 -uroot --p...

大家在安装或使用MYSQL时，会发现除了自己安装的数据库以外，还有一个information_schema数据库。information_schema数据库是做什么用的呢，使用WordPress博客的朋友可能会想，是不是安装模板添加的数据库呀？看完本片文章后，你就会对information_schema数据库有所了解。information_schema数据库是MySQL自带的，它提供了访问数据库...

      最近在巡检的时候，发现mysql错误日志中，报如下错误： 1779986 2015-10-06 00:06:37 7f5215214700 InnoDB: Error: Table "mysql"."innodb_table_stats" not found.1779987 2015-10-06 00:06:37 7f5215214700 InnoDB: Recalculation ...

ibdata1是mysql数据库中一个数据文件了，你会发现它来越大了，下面我来介绍收缩Mysql的ibdata1文件大小方法。如果你有使用InnoDB来存储你的Mysql表，使用默认设置应该会碰到个非常头疼的问题，在Mysql的数据目录里有个默认只有10MB叫ibdata1的文件没日没夜的增长让你烦透了吧？里面包含了InnoDB引擎存储的所有索引和数据信息，很可惜Mysql在设计的时候就没有收缩I...

binlog_cache_size0.前提：服务器配置了 log-bin1.含义： 为每个session 分配的内存，在事务过程中用来存储二进制日志的缓存。2.作用：提高记录bin-log的效率3.属性：参数：global默认值：32768   -- 即 32K范围：4096 .. 42949672954.大小选择：a.根据业务：没有什么大事务，dml也不是很频繁的情况下可以设置小一点，如果事务大...

一、mysql之status和variables区别首先可以通过下属两个命令来查看mysql的相应的系统参数show status like '%abc%';show variables like '%abc%';但是很多人不明白二者到底有什么区别status是状态是系统的状态不可更改，是系统现在的运行状态参数，说明如下：mysql> show status like 'innodb_row...

MySQL开发总结一、理解MySQL基本概念　　1、MySQL软件：MySQL实际上就是一软件，是一工具，是关系型数据库管理系统软件　　2、MySQL数据库：就是按照数据结构来组织、存储和管理数据的仓库　　3、MySQL数据库实例：　　　　①MySQL是单进程多线程（而oracle是多进程），也就是说MySQL实例在系统上表现就是一个服务进程，即进程；　　　　②MySQL实例是线程和内存组成，实例...