Memcached&Redis构建缓存服务器_memcache&redis构建缓存服务器-优快云博客

本文链接：https://blog.youkuaiyun.com/Lancelotest/article/details/108984545

前言

许多Web应用都将数据保存到关系型数据库( RDBMS)中，应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大、访问的集中，就会出现RDBMS的负担加重、数据库响应恶化、网站显示延迟等重大影响。Memcached/redis是高性能的分布式内存缓存服务器,通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web等应用的速度、提高可扩展性。

RDBMS即关系数据库管理系统(Relational Database Management System)

一简介

①nosql产品：redis，mongodb，memcached
nosql名词解释：非关系型数据库

1）一键值对的方式存储数据 — （key-value)的形式
2）缓存数据库

②NOSQL的优缺点
优点

高可扩展性
分布式计算
低成本
架构的灵活性
没有复杂的关系

缺点:

没有标准化
有限的查询功能（到目前为止）
最终一致是不直观的程序

缓存服务器作用: 加快访问速度 ,缓解数据库压力

二 memcached

1.特点

1.内置内存存储方式-----------为了提高性能，memcached中保存的数据都
存储在memcache内置的内存存储空间中。由于数据仅存在于内存中，重启操作系统会导致全部数据消失
2.简单key/value存储---------------服务器不关心数据本身的意义及结构，只要是可序列化数据即可。存储项由“键、过期时间、可选的标志及数据”四个部分组成；

2.服务器框架

1、检查客户端的请求数据是否在memcached中，如有，直接把请求数据返回，不再对数据库进行任何操作，路径操作为①②③⑦。
2、如果请求的数据不在memcached中，就去查数据库，把从数据库中获取的数据返回给客户端，同时把数据缓存一份到memcached中（memcached客户端不负责，需要程序明确实现），路径操作为①②④⑤⑦⑥。

3.保持缓存的“新鲜性”，每当数据发生变化的时候（比如，数据有被修改，或被删除的情况下），要同步更新的缓存信息，确保用户不会在缓存取到旧的数据。

三配置安装Memcached

memcache能存放多少数据，取决于服务器本身的内存有多大。

1.安装----准备一台服务器

yum install memcached -y
systemctl start memcached
vim /etc/sysconfig/memcached

PORT="11211"    
#---监听的端口，默认11211.可以修改
USER="memcached"  
#-----用户
MAXCONN="1024"   -----默认并发，可以修改
CACHESIZE="64"    
#------给的内存。默认是M
OPTIONS=""       
#----监听的网络地址

然后把ip地址发给开发人员，开发的会使用api接口连接memcached.
测试：

yum install -y telnet
telnet 192.168.75.237 11211

Trying 192.168.246.188...
Connected to 192.168.246.188.
Escape character is '^]'.

set name 0 60 9    
#设置名称为name的key 
#0：key的id号，需要和其他的key不一样
#60：缓存过期时间,单位为秒，0为永远
#9：字符串最大长度     
helloword        
#给name的值
STORED         
#出现stoped表示已经存储成功。
get name       
#查询key值
VALUE name 0 9
helloword
END

在这里插入图片描述

安装php支持memcached的扩展模块

安装php7.0

[root@memcached ~]# rpm -Uvh https://mirror.webtatic.com/yum/el7/epel-release.rpm
[root@memcached ~]# rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm
[root@memcached ~]# yum install php70w.x86_64 php70w-cli.x86_64 php70w-common.x86_64 php70w-gd.x86_64 php70w-ldap.x86_64 php70w-mbstring.x86_64 php70w-mcrypt.x86_64 php70w-mysql.x86_64 php70w-pdo.x86_64 php70w-devel zlib-devel  -y
[root@memcached ~]# yum -y install php70w-fpm
[root@memcached ~]# yum install -y make gcc zlib-devel libmemcached-devel git
下载PHP Memcache 扩展包
[root@memcached ~]# yum install libmemcached -y
[root@memcached ~]# yum install php70w-pecl-memcached -y

在这里插入图片描述

Redis服务

1.介绍

redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库

redis的官网redis.io
注:域名后缀io属于国家域名，是british Indian Ocean territory，即英属印度洋领地

2.redis的特点

1.丰富的数据结构 -----String,list,set,hash等数据结构的存储
2.支持持久化
3.支持事务 ---------------事务是指“一个完整的动作，要么全部执行，要么什么也没有做”。
4.支持主从

3.区别

redis和memcache比较
1).Redis不仅仅支持简单的k/v类型的数据,同时还提供了list,set,String,hash等数据结构的存储
2).Redis支持master-slave(主-从)模式应用
3).Redis支持数据的持久化

4.安装Redis

①安装单机版redis

wget http://download.redis.io/releases/redis-4.0.9.tar.gz
mkdir -p /data/application/
tar xzf redis-4.0.9.tar.gz -C /data/application/
cd /data/application/
mv redis-4.0.9/ redis
cd redis/
yum install -y gcc make
make

[root@redis-master redis]# cp redis.conf redis.conf.bak
[root@redis-master redis]# vim redis.conf ----------修改如下

bind 0.0.0.0　　
#只监听内网IP
daemonize yes　　　　　
#开启后台模式将on改为yes
port 6379                      
#端口号
dir /data/application/redis/data　　
#本地数据库存放持久化数据的目录该目录-----需要存在

mkdir /data/application/redis/data -p
vim /lib/systemd/system/redis.service

[Unit]
Description=Redis
After=network.target

[Service]
ExecStart=/data/application/redis/src/redis-server /data/application/redis/redis.conf  --daemonize no
ExecStop=/data/application/redis/src/redis-cli -h 127.0.0.1 -p 6379 shutdown

[Install]
WantedBy=multi-user.target

[root@redis-master system]# systemctl daemon-reload #重新加载
[root@redis-master system]# systemctl start redis.service

/data/application/redis/src/redis-cli

使用 EX 选项：
[root@localhost src]# ./redis-cli -h 192.168.62.231 -p 6379
192.168.62.231:6379> set name1 xiaohong EX 10
OK
192.168.62.231:6379> get name1
"xiaohong"
等待10s，再次查看
192.168.62.231:6379> get name1
(nil)

使用 PX 选项：
192.168.62.231:6379> set name2 xiaohong PX 3233
OK
192.168.62.231:6379> get name2
"xiaohong"
等待3s，再次查看
192.168.62.231:6379> get name2
(nil)

使用 NX 选项：
192.168.62.231:6379> set class 1901 NX
OK # 键不存在，设置成功
192.168.62.231:6379> get class
"1901"
192.168.62.231:6379> set class 1901 NX
(nil)  # 键已经存在，设置失败
192.168.62.231:6379> get class
"1901"  # 维持原值不变

使用 XX 选项：
192.168.62.231:6379> set home taikang XX
(nil)  # 因为键不存在，设置失败
192.168.62.231:6379> set home taikang
OK # 先给键设置一个值
192.168.62.231:6379> set home zhengzhou XX
OK # 设置新值成功
192.168.62.231:6379> get home
"zhengzhou"

删除：
192.168.62.231:6379> del class
(integer) 1
192.168.62.231:6379> get class
(nil)

5.数据持久化

即把数据保存到可永久保存的存储设备中（如磁盘）。
1、redis持久化 – 两种方式

一、redis提供了两种持久化的方式，分别是RDB（Redis DataBase）和AOF（Append Only File）。
########################################################
RDB（Redis DataBase）：是在不同的时间点，将redis存储的数据生成快照并存储到磁盘等介质上；
特点:
1.周期性
2.不影响数据写入 #RDB会启动子进程，备份所有数据。当前进程，继续提供数据的读写。当备份完成，才替换老的备份文件。
3.高效 #一次性还原所有数据
4.完整性较差 #故障点到上一次备份，之间的数据无法恢复。
#######################################################
AOF（Append Only File）则是换了一个角度来实现持久化，那就是将redis执行过的所有写指令记录下来，在下次redis重新启动时，只要把这些写指令从前到后再重复执行一遍，就可以实现数据恢复了。
特点:
1.实时性
2.完整性较好
3.体积大 #记录数据的指令，删除数据的指令都会被记录下来。
######################################################
二、RDB和AOF两种方式也可以同时使用，在这种情况下，如果redis重启的话，则会优先采用AOF方式来进行数据恢复，这是因为AOF方式的数据恢复完整度更高。
三、如何选择方式？
缓存：不用开启任何持久方式
双开:因RDB数据不实时，但同时使用两者时服务器只会找AOF文件,所以RDB留作以防万一的手段。
官方的建议是两个同时使用。这样可以提供更可靠的持久化方案。
写入速度快 ------------AOF
写入速度慢 ------------RDB

2、持久化配置

1、RDB默认开启：
[root@redis-master src]# cd …
[root@redis-master redis]# vim redis.conf
#dbfilename：持久化数据存储在本地的文件
dbfilename dump.rdb
#dir：持久化数据存储在本地的路径
dir /data/application/redis/data
##snapshot触发的时机，save
##如下为900秒后，至少有一个变更操作，才会snapshot
##对于此值的设置，需要谨慎，评估系统的变更操作密集程度
##可以通过save “”来关闭snapshot功能
#save时间，以下分别表示更改了1个key时间隔900s进行持久化存储；更改了10个key300s进行存储；更改10000个key60s进行存储。
save 900 1
save 300 10
save 60 10000
##yes代表当使用bgsave命令持久化出错时候停止写RDB快照文件,no表明忽略错误继续写文件，“错误”可能因为磁盘已满/磁盘故障/OS级别异常等
stop-writes-on-bgsave-error yes
##是否启用rdb文件压缩，默认为“yes”，压缩往往意味着“额外的cpu消耗”，同时也意味着较短的网络传输时间
rdbcompression yes
注意:每次快照持久化都是将内存数据完整写入到磁盘一次，如果数据量大的话，而且写操作比较多，必然会引起大量的磁盘io操作，可能会严重影响性能。

RDB快照备份恢复

mkdir -p /data/application/redis/data
做备份机器的redis.conf配置文件内容：
bind 0.0.0.0
dbfilename dump.rdb
dir /data/application/redis/data
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes

备份数据：
[root@redis-master-1 redis]# src/redis-cli
127.0.0.1:6379> set name3 qianfeng
OK
127.0.0.1:6379> set name4 tianyun
OK
127.0.0.1:6379> BGSAVE 执行备份，或者敲SAVE
[root@redis-slave-1 redis]# ls data/
dump.rdb

[root@redis-slave-1 redis]# scp data/dump.rdb 192.168.75.242:/data/application/redis/data/

src/redis-server redis.conf &
src/redis-cli

数据出现，实验成功。

6.redis主从配置

主从简介

主从 – 用法

像MySQL一样，redis是支持主从同步的，而且也支持一主多从以及多级从结构。

主从结构，一是为了纯粹的冗余备份，二是为了提升读性能，比如很消耗性能的SORT就可以由从服务器来承担。
redis的主从同步是异步进行的，这意味着主从同步不会影响主逻辑，也不会降低redis的处理性能。
主从架构中，可以考虑关闭主服务器的数据持久化功能，只让从服务器进行持久化，这样可以提高主服务器的处理性能。

主从同步原理

主从 – 同步原理
从服务器会向主服务器发出SYNC指令，当主服务器接到此命令后，就会调用BGSAVE指令来创建一个子进程专门进行数据持久化工作，也就是将主服务器的数据写入RDB文件中。在数据持久化期间，主服务器将执行的写指令都缓存在内存中。
在BGSAVE指令执行完成后，主服务器会将持久化好的RDB文件发送给从服务器，从服务器接到此文件后会将其存储到磁盘上，然后再将其读取到内存中。这个动作完成后，主服务器会将这段时间缓存的写指令再以redis协议的格式发送给从服务器。

另外，要说的一点是，即使有多个从服务器同时发来SYNC指令，主服务器也只会执行一次BGSAVE，然后把持久化好的RDB文件发给多个从服务器。

而在2.8版本之后，redis支持了效率更高的增量同步策略，这大大降低了连接断开的恢复成本。主服务器会在内存中维护一个缓冲区，缓冲区中存储着将要发给从服务器的内容。从服务器在与主服务器出现网络瞬断之后，从服务器会尝试再次与主服务器连接，一旦连接成功，主服务器就会向从服务器发送增量内容。

增量同步功能，需要服务器端支持全新的PSYNC指令。这个指令，只有在redis-2.8之后才具有。

BGSAVE指令:
在后台异步(Asynchronously)保存当前数据库的数据到磁盘。
BGSAVE 命令执行之后立即返回 OK ，然后 Redis fork 出一个新子进程，
原来的 Redis 进程(父进程)继续处理客户端请求，而子进程则负责将数据
保存到磁盘，然后退出。

部署三台机器redis—主从同步

redis-master----192.168.75.241
redis-slave-1-----192.168.85.243
redis-slave-2-----192.168.75.244

首先三台服务器将redis部署完成。

13 rz
14 mkdir -p /data/application/
15 tar -xzvf redis-4.0.9.tar.gz -C /data/application/
16 cd /data/application/
17 mv redis-4.0.9/ redis
18 cd redis/
19 make
20 mkdir data
21 vim /lib/systemd/system/redis.service
22 systemctl daemon-reload
23 systemctl start redis.service
24 systemctl status redis.service
25 src/redis-cli

注：做主从时候，从服务器不能写录数据，主从完成后，从服务器无法写录数据

然后编辑master的redis配置文件:
完成后重启
systemctl restart redis.service

在这里插入图片描述
编辑master的redis配置文件:

protected-mode no
bond 0.0.0.0
daemonize no
dir /data/application/redis/data/
添加

slaveof 192.168.75.241 6379

7.redis-sentinel—哨兵模式

哨兵简介

Sentinel(哨兵)是用于监控redis集群中Master状态的工具，其已经被集成在redis2.4+的版本中是Redis官方推荐的高可用性(HA)解决方案

哨兵作用

1)：Master状态检测
2)：如果Master异常，则会进行Master-Slave切换，将其中一个Slave作为Master，将之前的Master作为Slave
3)：Master-Slave切换后，sentinel.conf的监控目标会随之调换

哨兵工作模式

1)：每个Sentinel以每秒钟一次的频率向它所知的Master，Slave以及其他 Sentinel 实例发送一个 PING 命令

2)：如果一个实例（instance）距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值，则这个实例会被 Sentinel 标记为主观下线。

3)：如果一个Master被标记为主观下线，则正在监视这个Master的所有 Sentinel 要以每秒一次的频率确认Master的确进入了主观下线状态。

4)：当有足够数量的 Sentinel（大于等于配置文件指定的值）在指定的时间范围内确认Master的确进入了主观下线状态，则Master会被标记为客观下线。

主观下线与客观下线

主观下线：Subjectively Down，简称 SDOWN，指的是当前一个Sentinel 实例对某个redis服务器做出的下线判断。
客观下线：Objectively Down，简称 ODOWN，指的是多个 Sentinel 实例在对Master Server做出 SDOWN 判断，并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后，得出的Master Server下线判断，然后开启failover

配置哨兵模式

集群：ip+port
哨兵：3ip+port

1.每台机器上修改redis主配置文件redis.conf文件设置：bind 0.0.0.0
—已经操作

2.每台机器上修改sentinel.conf配置文件：修改如下配置
vim /data/application/redis/sentinel.conf
使用ggdG清空文件

sentinel monitor mymaster 192.168.75.241 6379 2
#当集群中有2个sentinel认为master死了时，
#才能真正认为该master已经不可用了。 
#(slave上面写的是master的ip，master写自己ip)
sentinel down-after-milliseconds mymaster 3000
#单位毫秒
sentinel failover-timeout mymaster 10000
#若sentinel在该配置值内未能完成failover(故障转移)操作
#（即故障时master/slave自动切换），则认为本次failover失败。
protected-mode no
#关闭加密模式--新添加到sentinel配置文件中