MySQL5.7 快速批量处理 slave从库 Last_Errno: 1062问题

最新推荐文章于 2024-09-10 16:44:07 发布

原创最新推荐文章于 2024-09-10 16:44:07 发布 · 1w 阅读

0 ·

CC 4.0 BY-SA版权

mysql develeper 专栏收录该内容

17 篇文章

订阅专栏

本文介绍了解决MySQL因权限问题导致的数据写入失败及主从同步中出现的重复键错误。通过调整目录权限、使用Shell脚本批量处理1062错误，并最终检查主从数据一致性。

运营同事说生成环境的Mysql连接报错处理：Can’t read dir of ’./business_db/’ (errno:13 – Permission denied)

上去服务器，查看到原因是，mysql运行过程中，mysql数据存放目录的权限被修改成了其它帐号mongo，所以通过远程查询报错，解决办法是重新赋予mysql帐号权限，chown -R mysql:mysql/data/mysql，然后再重启mysql（重启过程中，如果正常restart无效，则需要kill 进程号的方式去stop 然后再start）。

重启mysql过后的slave报错问题，如下所示：

[root@azure_dbm1_s1 ~]# mysql -e "show slave status\G"

*************************** 1. row ***************************

Slave_IO_State: Queueing master event to the relay log

Master_Host: 101.24.3.61

Master_User: repl

Master_Port: 3306

Connect_Retry: 60

Master_Log_File: mysql-bin.001603

Read_Master_Log_Pos: 72081748

Relay_Log_File: mysql-relay-bin.003111

Relay_Log_Pos: 221898

Relay_Master_Log_File: mysql-bin.001582

Slave_IO_Running: Yes

Slave_SQL_Running: No

Replicate_Do_DB:

Replicate_Ignore_DB:

Replicate_Do_Table:

Replicate_Ignore_Table:

Replicate_Wild_Do_Table:

Replicate_Wild_Ignore_Table:

Last_Errno: 1062

Last_Error: Could not execute Write_rows event on table business_db.MOVIE_INTERFACE_LOG; Duplicate entry '791212' for key 'PRIMARY', Error_code: 1062; handler error HA_ERR_FOUND_DUPP_KEY; the event's master log mysql-bin.001582, end_log_pos 176650062

Skip_Counter: 0

Exec_Master_Log_Pos: 176641719

Relay_Log_Space: 13274783505

Until_Condition: None

………………

判断是因为，mysql的数据库目录/data/mysql已经被赋予了mongo用户权限，mysql无法写入，所以在slave里面没有记录。但是mysql启动是在root登录通过 service mysql start启动起来的，所以实际上数据已经通过root启动的mysql服务写进数据库了，所以在恢复slave的时候，slave的sql线程依然去执行relay日志，产生了Duplicateentry的问题了。

不知道这个判断是否属实？

批量处理Last_SQL_Errno ：1062错误

那么接下来就需要通过

stop slave; setglobal sql_slave_skip_counter=1; start slave;来跳过，但是Duplicate entry的数据太多了，手工执行不过来，需要写一个shell脚本while循环来自动跳过，脚本如下：

empty[root@azure_dbm1_s1 scripts]# more slave_1062_stop.sh 
#/bin/bash
slave_num=`mysql -e "show slave status\G" |grep Last_SQL_Errno |awk {'print $2}'`
echo $slave_num
while [[ $slave_num = "1062" ]];
do
	mysql -e "stop slave; set global sql_slave_skip_counter=1; start slave;"
	slave_num=`mysql -e "show slave status\G" |grep Last_SQL_Errno |awk {'print $2}'`
done
[root@azure_dbm1_s1 scripts]#

[root@azure_dbm1_s1 scripts]# more slave_1062_stop.sh

#/bin/bash

slave_num=`mysql -e "show slave status\G" |grep Last_SQL_Errno |awk {'print $2}'`

echo $slave_num

while [[ $slave_num = "1062" ]];

mysql -e "stop slave; set global sql_slave_skip_counter=1; start slave;"

slave_num=`mysql -e "show slave status\G" |grep Last_SQL_Errno |awk {'print $2}'`

done

[root@azure_dbm1_s1 scripts]#

然后执行脚本，如下：

# 开始执行脚本，等待

[root@azure_dbm1_s1 scripts]# sh slave_1062_stop.sh

1062

[root@azure_dbm1_s1 scripts]#

# 执行结束后，再执行下，确认Last_SQL_Errno是否正常值0

[root@azure_dbm1_s1 scripts]# sh slave_1062_stop.sh

[root@azure_dbm1_s1 scripts]#

用脚本自动化运行，比手动在命令行执行stop slave; set globalsql_slave_skip_counter=1; start slave;要方便很多。

最后用checksum检查主从数据一致性：

# 下载安装percona-toolkit

wget https://www.percona.com/downloads/percona-toolkit/2.2.17/deb/percona-toolkit_2.2.17-1.tar.gz

tar -xvf percona-toolkit_2.2.17-1.tar.gz

cd percona-toolkit-2.2.17/

yum install perl-DBD-MySQL -y

perl Makefile.PL

make

make test

make install

cp /usr/local/bin/pt* /bin/

# 开始check主从数据一致性

pt-table-checksum --nocheck-replication-filters --replicate=test.dsns --host=101.24.3.61 --port 3306 --databases=business_db -urepl -pPlcc0805@replication --no-check-binlog-format --no-replicate-check