参考:MySQL主从复制(Master-Slave)实践 - 知其然,后知其所以然 - 博客园
通过主从复制的方式来同步数据,再通过读写分离来提升数据库的并发负载能力
一主多从模型,提高并发能力,但是同步存才小延迟。多主多从更加复杂
Mysql主从复制的实现原理图大致如下:
master数据库启用二进制日志,它的数据库中所有操作都会以“事件”的方式记录在二进制日志中,其他数据库作为slave通过一个I/O线程与主服务器保持通信,并监控master的二进制日志文件的变化,如果发现master二进制日志文件发生变化,则会把变化复制到自己的中继日志中,然后slave的一个SQL线程会把相关的“事件”执行到自己的数据库中,以此实现从数据库和主数据库的一致性,也就实现了主从复制。同步存在延迟
实现MySQL主从复制需要进行的配置:
- 主服务器:
- 开启二进制日志
- 配置唯一的server-id
- 获得master二进制日志文件名及位置
- 创建一个用于slave和master通信的用户账号
- 从服务器:
- 配置唯一的server-id
- 使用master分配的用户账号读取master二进制日志
- 启用slave服务
具体实现过程如下:
一、准备工作:
1.主从数据库版本最好一致
2.主从数据库内数据保持一致
主数据库:182.92.172.80 /linux
从数据库:123.57.44.85 /linux
二、主数据库master修改:
1.修改mysql配置
找到主数据库的配置文件my.cnf(或者my.ini),我的在/etc/mysql/my.cnf,在[mysqld]部分插入如下两行:
[mysqld]
log-bin=mysql-bin #开启二进制日志
server-id=1 #设置server-id
2.重启mysql,创建用于同步的用户账号
打开mysql会话shell>mysql -hlocalhost -uname -ppassword
创建用户并授权:用户:rel1密码:slavepass
mysql> CREATE USER 'repl'@'123.57.44.85' IDENTIFIED BY 'slavepass';#创建用户
mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'123.57.44.85';#分配权限
mysql>flush privileges; #刷新权限
3.查看master状态,记录二进制文件名(mysql-bin.000003)和位置(73):
注意配置的关注数据库binlog-do-db,binlog-ignore-db
mysql > SHOW MASTER STATUS;
+------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000003 | 73 | test | manual,mysql |
+------------------+----------+--------------+------------------+
还可以用到的其他相关参数:
master开启二进制日志后默认记录所有库所有表的操作,可以通过配置来指定只记录指定的数据库甚至指定的表的操作,具体在mysql配置文件的[mysqld]可添加修改如下选项:
# 不同步哪些数据库
binlog-ignore-db = mysql
binlog-ignore-db = test
binlog-ignore-db = information_schema
# 只同步哪些数据库,除此之外,其他不同步
binlog-do-db = game
三、从服务器slave修改:
1.修改mysql配置
同样找到my.cnf配置文件,添加server-id
[mysqld]
server-id=2 #设置server-id,必须唯一
2.重启mysql,打开mysql会话,执行同步SQL语句(需要主服务器主机名,登陆凭据,二进制文件的名称和位置):
mysql> CHANGE MASTER TO
-> MASTER_HOST='182.92.172.80',
-> MASTER_USER='rep1', //前面在主数据库创建的账户
-> MASTER_PASSWORD='slavepass',
-> MASTER_LOG_FILE='mysql-bin.000003',
-> MASTER_LOG_POS=73;
3.启动slave同步进程:
mysql>start slave;
4.查看slave状态:
mysql> show slave status\G;
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 182.92.172.80
Master_User: rep1
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000003 //应该对应Master中信息
Read_Master_Log_Pos: 73 //应该对应Master中信息
Relay_Log_File: mysqld-relay-bin.000022 //中继日志
Relay_Log_Pos: 11765
Relay_Master_Log_File: mysql-bin.000003
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
...
当Slave_IO_Running和Slave_SQL_Running都为YES的时候就表示主从同步设置成功了。接下来就可以进行一些验证了,比如在主master数据库的test数据库的一张表中插入一条数据,在slave的test库的相同数据表中查看是否有新增的数据即可验证主从复制功能是否有效,还可以关闭slave(mysql>stop slave;),然后再修改master,看slave是否也相应修改(停止slave后,master的修改不会同步到slave),就可以完成主从复制功能的验证了。
同步模式:
异步模式(默认):master不等待binlog同步到slave的repo-log上就返回客户端,可能造成数据丢失。
半同步模式(5.5以上):等待一台slave确认已将binlog同步到repo-log。包含两种模式:
1 AFTER_COMMIT:Master commit之后再将日志复制到Slave.
2 AFTER_SYNC(5.7以上):日志复制到Slave之后,Master再commit。
推荐使用AFTER_SYNC模式。AFTER_COMMIT在master宕机的情况下,无法保证数据的一致性。
全同步模式:等待全部slave确认已将binlog同步到repo-log
mysql主从数据库不同步的2种解决方法(转)
mysql主从数据库不同步的2种解决方法(转) - sandea - 博客园
方法1思路 :适合主从弱一致性,跳过错误,继续同步
方法2思路 :适合主从强一致性,锁住主库不再写入,备份主库恢复从库
mysql主从同步切换导致数据丢失问题
MySQL丢数据及主从数据不一致的场景_路漫漫其修远兮-优快云博客_mysql主从切换丢数据
设置innodb_flush_log_at_trx_commit=1
且 sync_binlog=1
先来看一下innodb_flush_log_at_trx_commit这个参数:
- 0 :每秒 write cache & flush disk
- 1 :每次commit都 write cache & flush disk
- 2 :每次commit都 write cache,然后根据innodb_flush_log_at_timeout(默认为1s)时间 flush disk
innodb_flush_log_at_trx_commit=1最为安全,因为每次commit都保证redo写入了disk。但是这种方式性能对DML性能来说比较低,在我们的测试中发现,如果设置为2,DML性能要比设置为1高10倍左右。
参数控制:sync_binlog
- 等于0 :表示MySQL不控制binlog的刷新,由文件系统自己控制它的缓存的刷新
- 大于 0 :表示每sync_binlog次事务提交,MySQL调用文件系统的刷新操作将缓存刷下去
其中最安全的就是=1,表示每次事务提交,MySQL都会把binlog缓存刷进磁盘,这样在掉电等情况下,系统才有可能丢失1个事务的数据。当sync_binlog设置为1,对系统的IO消耗也是非常大的。与设置为0最大差距可能有5倍,可以依情况设置为100或其他。
其他外部方案
(1)看主库是否能连接上去,然后把主库的Binlog拉到从库,然后应用于从库(最大程度的保证一致)
(2)这台从库和主库双写(程序双写)
(3)通过应用程序写个一分钟的日志(搁在内存里)
(4)把异步同步换成实时同步(半同步)复制