如何进行不同数据库的集群操作？--从部署谈起，今天来看MySQL和NoSql数据库Redis的集群

通俗一点来说，就是让若干台计算机联合起来工作 (服务)，可以是并行的，也可以是做备份。
数据库集群的特征就是有多台机器，这多台机器上都有数据库，这些数据库的数据是完全一样的，即相当于一套数据的多个副本。集群就是要保证这些副本的实时或准时实（可以延时一会）的同步，即如果一台机器上的数据更改时，集群系统要保证这个更改实时或准时实的应用到所有的机器上，实现数据同步。

集群主要解决两个问题：

负载均衡：这个主要是解决访问量大的问题。一台机器的读写能力是有限的，当同时有大量用户访问的时候，仅一台机器可能就会因负载过大而垮掉。而使用集群后，集群系统会将访问量均衡到每台机器上，也即多台机器分担了访问量，这就达到了负载均衡的目的。
当机：当只有一台机器时，如果这台机器因意外当机会需要停机维护，那么此时系统就不能访问，对于一些使用量大，使用频繁的系统而言，这样是肯定不行的。如果使用集群，只有集群中有一台机器还在运行，就能让系统继续运行下去，而且对于重新启动的机器，能很快的同步在停机时间用户所做的更改。我的当前公司很喜欢用顶这个词，当一台机器垮掉时，能立马有另一台机器顶上。

1.1 数据库主要分为两大类：关系型数据库与 NoSQL 数据库

关系型数据库，是建立在关系模型基础上的数据库，其借助于集合代数等数学概念和方法来处理数据库中的数据主流的 MySQL、Oracle、MS SQL Server 和 DB2 都属于这类传统数据库。
NoSQL 数据库，全称为 Not Only SQL，意思就是适用关系型数据库的时候就使用关系型数据库，不适用的时候也没有必要非使用关系型数据库不可，可以考虑使用更加合适的数据存储。主要分为临时性键值存储（memcached、Redis）、永久性键值存储（ROMA、Redis）、面向文档的数据库（MongoDB、CouchDB）、面向列的数据库（Cassandra、HBase），每种 NoSQL 都有其特有的使用场景及优点。

1.2 为什么还要用 NoSQL 数据库呢？

主要是由于随着互联网发展，数据量越来越大，对性能要求越来越高，传统数据库存在着先天性的缺陷，即单机（单库）性能瓶颈，并且扩展困难。这样既有单机单库瓶颈，却又扩展困难，自然无法满足日益增长的海量数据存储及其性能要求，所以才会出现了各种不同的 NoSQL 产品，NoSQL 根本性的优势在于在云计算时代，简单、易于大规模分布式扩展，并且读写性能非常高

-------------------华丽分割线--------------

实验环境：

vmware支持的redhat7.9虚拟机若干（做MySQL）9.4虚拟机若干台（做Redis）
虚拟机可联网，无其他操作的全新环境
虚拟机每一个都可以进行yum下载，拥有顺畅下载的本地仓库
关闭防火墙，selinux

一、关系型数据库MySQL

如果你安装的redhat7.9是带图形化的可以利用以下命令禁掉：

systemctl set-default multi-user.target #这条命令会永久关闭图形化

reboot #重启即可

1.部署mysql

在企业中90%的服务器操作系统均为Linux
在企业中对于Mysql的安装通常用源码编译的方式来进行（源码编译相比软件安装其可拓展性，功能性更强，对于使用者来说也更加灵活）

步骤：

安装依赖
下载解压源码包
源码编译安装mysql
使用部署

1.1安装依赖

yum install cmake gcc-c++ openssl-devel \ ncurses-devel.x86_64 libtirpc-devel-1.3.3-8.el9_4.x86_64.rpm rpcgen.x86_64 -y

1.2下载解压源码包

可自行去官网查找包，用xftp传输（速度快）

1.3源码编译安装

这一步时间比较漫长，稍作等待

[root@mysql-node10 mysql-5.7.44]# cmake \
-DCMAKE_INSTALL_PREFIX=/usr/local/mysql \ #指定安装路径
-DMYSQL_DATADIR=/data/mysql \ #指定数据目录
-DMYSQL_UNIX_ADDR=/data/mysql/mysql.sock \ #指定套接字文件
-DWITH_INNOBASE_STORAGE_ENGINE=1 \ #指定启用INNODB存储引擎，默认用myisam
-DWITH_EXTRA_CHARSETS=all \ #扩展字符集
-DDEFAULT_CHARSET=utf8mb4 \ #指定默认字符集
-DDEFAULT_COLLATION=utf8mb4_unicode_ci \ #指定默认校验字符集
-DWITH_BOOST=/root/mysql-5.7.44/boost/boost_1_59_0/ #指定c++库依赖

[root@mysql-node10 mysql-5.7.44]# make -j2 #-j2 表示有几个核心就跑几个进程
[root@mysql-node10 mysql-5.7.44# make install

出现以下画面说明就成功下载中了：

这一步出现问题的小伙伴看这里：

切记要删除缓存再重新检测

1.4部署mysql

mkdir /data/mysql/
chown -R /data/mysql/


#生成启动脚本
[root@node10 ~]# cd /usr/local/mysql/support-files/
[root@node10 support-files]# cp mysql.server /etc/init.d/mysqld


#修改环境变量
[root@node10 ~]# vim ~/.bash_profile
export PATH=$PATH:/usr/local/mysql/bin
[root@node10 ~]# source ~/.bash_profile


#生成配置文件
[root@node10 my.cnf.d]# vim /etc/my.cnf
[mysqld]
datadir=/data/mysql     #指定数据目录
socket=/data/mysql/mysql.sock     #指定套接字
symbolic-links=0     #数据只能存放到数据目录中，禁止链接到数据目录


#数据库初始化建立mysql基本数据
[root@node10 ~]# mysqld --initialize --user=mysql
[root@node10 ~]# /etc/init.d/mysqld start


#数据库安全初始化
[root@node10 ~]# mysql_secure_installation

Enter password for user root: #输入当前密码
New password: #输入新密码
Re-enter new password: #重复密码

Press y|Y for Yes, any other key for No: no #是否启用密码插件

Change the password for root ? ((Press y|Y for Yes, any other key for No) : no   
#是否要重置密码

Remove anonymous users? (Press y|Y for Yes, any other key for No) : y

Disallow root login remotely? (Press y|Y for Yes, any other key for No) : y

Remove test database and access to it? (Press y|Y for Yes, any other key for No) : y

Reload privilege tables now? (Press y|Y for Yes, any other key for No) : y

测试安装效果：

(如下图则安装完成)

集群方式

mysql的主从复制模式：

异步复制

MySQL异步复制是主从复制过程中默认的复制模式。主从复制涉及三个线程，master I/O线程、slave I/O线程、slave sql线程。因为是异步复制，所以master事务的提交，不需要经过slave的确认，即master I/O线程提交事务后，不需要等待slave I/O线程的回复确认，master并不保证binlog一定写入到了relay log中；而slave I/O把binlog写入relay log后，由slave sql线程异步执行应用到slave mysql中，slave I/O也不需要slave sql的回复确认，并不保证relay log日志完整写入到了mysql中。

实验1:添加slave1

1.环境配置

主机名称	ip	角色
mysql-node1	172.25.254.10	master
mysql-node2	172.25.254,20	slave

配置master

[root@mysql-node10 ~]# vim /etc/my.cnf
[mysqld]
datadir=/data/mysql
socket=/data/mysql/mysql.sock
symbolic-links=0
log-bin=mysql-bin        #添加
server-id=1                #添加

[root@mysql-node10 ~]# /etc/init.d/mysqld restart   

#进入数据库配置用户权限
[root@mysql-node10 ~]# mysql -plee

##生成专门用来做复制的用户，此用户是用于slave端做认证用
mysql> CREATE USER 'repl'@'%' IDENTIFIED BY 'lee'; 
mysql> GRANT REPLICATION SLAVE ON *.* TO repl@'%';   ##对这个用户进行授权



配置slave

[root@mysql-node2 ~]# vim /etc/my.cnf
[mysqld]
datadir=/data/mysql
socket=/data/mysql/mysql.sock
symbolic-links=0
server-id=2    #添加

[root@mysql-node2 ~]# /etc/init.d/mysqld restart
[root@mysql-node2 ~]# mysql -plee

定位mysql-node2

2.开启slave，测试：

定位mysql-node1

实验2：在有数据的情况下添加slave2

1.环境配置

主机名称	ip	角色
mysql-node1	172.25.254.10	master
mysql-node2	172.25.254,20	slave1
mysql-node3	172.25.254.30	slave2

#完成基础配置

[root@mysql-node3 ~]# vim /etc/my.cnf

[mysqld]

datadir=/data/mysql

socket=/data/mysql/mysql.sock

symbolic-links=0

server-id=3

[root@mysql-node3 ~]# /etc/init.d/mysqld restart

跟实验1稍有不同，这里需要先从master节点备份数据（在企业中备份需要锁表以保证备份前后的数据一致）

[root@mysql-node1 ~]# mysqldump -uroot -plee lee > lee.sql

因为此时的mysql-node3中没有任何数据，所以需要拉平数据。

#利用master节点中备份出来的lee.sql在slave2中拉平数据

[root@mysql-node3 ~]# mysql -uroot -plee -e "create database lee;"

[root@mysql-node3 ~]# mysql -uroot -p lee < lee.sql

[roort@mysql-node3~]#mysql -uroot -plee -e "select * from lee.userlist;"

配置slave2的功能（同实验一）

注意：master的状态可能会发生改变，要查了之后里面立马配置slave

[root@mysql-node3 ~]# mysql -uroot -plee

mysql> CHANGE MASTER TO

MASTER_HOST='172.25.254.10',

MASTER_USER='repl',

MASTER_PASSWORD='lee',

MASTER_LOG_FILE='mysql-bin.000001',

MASTER_LOG_POS=1251;

mysql> start slave; #开启slave功能

mysql> SHOW SLAVE STATUS\G; #查看配置是否成功

2.测试

在mysql-node1中向表lee.userlist插入数据，看两个从机是否同步

mysql> insert into lee.userlist values('五条悟','555');

实验3：延迟复制

#在slave端（随便开一台）
mysql> STOP SLAVE SQL_THREAD;
mysql> CHANGE MASTER TO MASTER_DELAY=60;  #设置延迟时间
mysql> START SLAVE SQL_THREAD;
mysql> SHOW SLAVE STATUS\G;
             Master_Server_Id: 1
                 Master_UUID: db2d8c92-4dc2-11ef-b6b0-000c299355ea
             Master_Info_File: /data/mysql/master.info
                   SQL_Delay: 60 ##延迟效果
         SQL_Remaining_Delay: NULL
     Slave_SQL_Running_State: Slave has read all relay log; waiting for more 
updates
           Master_Retry_Count: 86400

测试：在master中写入数据后过了延迟时间才能被查询到

实验4：慢查询日志

当执行SQL超过long_query_time参数设定的时间阈值（默认10s）时，就被认为是慢查询，这个 SQL语句就是需要优化的

慢查询被记录在慢查询日志里，慢查询日志默认是不开启的 。如果需要优化SQL语句，就可以开启这个功能，它可以让你很容易地知道哪些语句是需要优化的。

未开启状态：

开启慢查询：

mysql> SET GLOBAL slow_query_log=ON;

mysql> SET long_query_time=4;

mysql> SHOW VARIABLES like "slow%";

cat /data/mysql/mysql-node1-slow.log

可以看到日志内容：

实验5：并行复制

默认情况下slave中使用的是sql单线程回放

在master中时多用户读写，如果使用sql单线程回放那么会造成主从延迟严重

开启MySQL的多线程回放可以解决上述问题

在slaves中设定

[root@mysql-node2 ~]# vim /etc/my.cnf
[mysqld]
datadir=/data/mysql
socket=/data/mysql/mysql.sock
server-id=2
gtid_mode=ON
enforce-gtid-consistency=ON
slave-parallel-type=LOGICAL_CLOCK     #基于组提交，
slave-parallel-workers=16             #开启线程数量

 #master信息在表中记录，默认记录在/data/mysql//master.info
master_info_repository=TABLE 
relay_log_info_repository=TABLE
relay_log_recovery=ON #日志回放恢复功能开启


[root@mysql-node2 ~]# /etc/init.d/mysql start

测试：

此时sql线程转化为协调线程，16个worker负责处理sql协调线程发送过来的处理请求

半同步复制

基于传统异步存在的缺陷，mysql在5.5版本推出半同步复制，是对传统异步复制的改进。在master事务commit前，必须确保binlog日志已经写入slave 的relay log日志中，收到slave给master的响应后，才能进行事务的commit。但是后半部分的relay log到sql线程仍然属于异步执行。

1.gtid模式

当为启用gtid时我们要考虑的问题在master端的写入时多用户读写，在slave端的复制时单线程日志回放，所以slave端一定会延迟与 master端

这种延迟在slave端的延迟可能会不一致，当master挂掉后slave接管，一般会挑选一个和master延迟日志最接近的充当新的master 那么为接管master的主机继续充当slave角色并会指向到新master上，作为其slave 这时候按照之前的配置我们需要知道新的master上的pos的id，但是我们无法确定新的master和slave之间差多少

当激活GITD之后

当master出现问题后，slave2和master的数据最接近，会被作为新的master slave1指向新的master，但是他不会去检测新的master的pos id，只需要继续读取自己gtid_next即可

#在master端和slave端开启gtid模式

[root@mysql-node1 ~]# vim /etc/my.cnf
[mysqld]
datadir=/data/mysql
socket=/data/mysql/mysql.sock
server-id=1
log-bin=mysql-bin
gtid_mode=ON
enforce-gtid-consistency=ON
symbolic-links=0

[root@mysql-node1 ~]# /etc/init.d/mysqld restart
[root@mysql-node2 ~]# vim /etc/my.cnf
[mysqld]
datadir=/data/mysql
socket=/data/mysql/mysql.sock
server-id=2
log-bin=mysql-bin
gtid_mode=ON
enforce-gtid-consistency=ON
symbolic-links=0

[root@mysql-node2 ~]# /etc/init.d/mysqld restart
[root@mysql-node3 ~]# vim /etc/my.cnf
[mysqld]
datadir=/data/mysql
socket=/data/mysql/mysql.sock
server-id=3
log-bin=mysql-bin
gtid_mode=ON
enforce-gtid-consistency=ON
symbolic-links=0

[root@mysql-node3 ~]# /etc/init.d/mysqld restart

#停止slave端
[root@mysql-node2 ~]# mysql -p
mysql> stop slave;

[root@mysql-node3 ~]# mysql -p
mysql> stop slave;

#开启slave端的gtid
mysql> CHANGE MASTER TO MASTER_HOST='172.25.254.10', MASTER_USER='repl', 
MASTER_PASSWORD='lee', MASTER_AUTO_POSITION=1;