Redis底层原理

概述

什么是redis？

是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API（比如 java ,C，C++，python，go等）redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的

Redis特点

1，优秀的性能，数据是存储在内存中，读写速度非常快，可支持并发10W QPS

2，单线程但进程，是线程安全的，采用IO 多路复用制,可作为分布式锁

3，支持五种数据类型,支持数据持久化到磁盘

4，可以作为消息中间件使用，支持消息发布及订阅

Redis的五大数据类型

Sring(字符串)

        可以包含任何的数据，比如jpg图片或者序列化对象，string 类型是二进制安全的，string 类型是 Redis 最基本的数据类型，string 类型的值最大能存储 512MB。

Hash(哈希)

        简介：键值对集合，即变成中的map集合，特别适合存储对象，使用场景，存储，读取修改用户属性

List(列表)

简介：链表（双向链表），有序，可以重复，Redis 列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（右边），

Set(无序集合)

简介:Hash表实现，元素不重复，Redis的Set是string类型的无序集合，

Sorted set（有序集合）别称：Zset

元素类型为Stingl类型，元素具有唯一性，不能重复，每个元素都会关联一个double类型的分数score(表示权重)，可以通过权重的大小排序，元素的score可以相同

总结

1 . string类型

写命令通过set关键字实现，set [key] [value]
读命令通过get关键字实现，get [key]

2 . list列表类型

通过rpush、lpush，将一个或多个值向右或向左推入。
rpush [key] [value1] [value2]，将value值推入到列表的右端。
lpush [key] [value1] [value2]，将value值推入到列表的左端
lrange level 0 -1 ,查看列表key为level的所有元素

3 . 哈希（hash）

hmset命令可写入hash类型的值，hmset [key] [field1] [value1] [field2] [value2]
hgetall okevin #返回所有的键值对，奇数列为field，偶数列为value

4 . 集合（set）

sadd命令将一个或多个元素添加到集合里，并返回被添加元素中原本并不存在集合中的元素数量，sadd [key] [member] [member]
smembers命令返回集合中包含的所有元素，smembers [key]

5 . 有序集合对象（zset）

zadd用于有序集合的写入操作，zadd [key] [score1] [member1] [score2] [member2]……
zcard命令用于返回有序集合中的成员数量，zcard [key]

Redis的雪崩,缓存穿透和缓存击穿

Redis雪崩原理

缓存雪崩是指大量的应用请求无法在 Redis 缓存中进行处理，紧接着，应用将大量请求发送到数据库层，导致数据库层的压力激增，缓存中有大量数据同时过期，导致大量请求无法得到处理

具体说明：

   具体来说，当数据保存在缓存中，并且设置了过期时间时，如果在某一个时刻，大量数据同时过期，此时，应用再访问这些数据的话，就会发生缓存缺失。紧接着，应用就会把请求发送给数据库，从数据库中读取数据。如果应用的并发请求量很大，那么数据库的压力也就很大，这会进一步影响到数据库的其他正常业务请求处理。

        一般来说，一个 Redis 实例可以支持数万级别的请求处理吞吐量，而单个数据库可能只能支持数千级别的请求处理吞吐量，它们两个的处理能力可能相差了近十倍，由于缓存雪崩，Redis 缓存失效所以，数据库就可能要承受近十倍的请求压力，从而因为压力过大而崩溃

解决办法：

1、避免给大量的数据设置相同的过期时间，设置随机的过期时间

        可以避免给大量的数据设置相同的过期时间，如果业务层的确要求有些数据同时失效，你可以在用 EXPIRE 命令给每个数据设置过期时间时，给这些数据的过期时间增加一个较小的随机数（例如，随机增加 1~3 分钟），这样一来，不同数据的过期时间有所差别，但差别又不会太大，既避免了大量数据同时过期，同时也保证了这些数据基本在相近的时间失效，仍然能满足业务需求

2、通过服务降级（针对不同的数据采取不同的处理方式）

        当业务应用访问的是非核心数据（例如电商商品属性）时，暂时停止从缓存中查询这些数据，而是直接返回预定义信息、空值或是错误信息；

当业务应用访问的是核心数据（例如电商商品库存）时，仍然允许查询缓存，如果缓存缺失，也可以继续通过数据库读取。

   除了大量数据同时失效会导致缓存雪崩，还有一种情况也会发生缓存雪崩，那就是，Redis 缓存实例发生故障宕机了，无法处理请求，这就会导致大量请求一下子积压到数据库层，从而发生缓存雪崩。

        第一个建议，是在业务系统中实现服务熔断或请求限流机制。

  所谓的服务熔断，是指在发生缓存雪崩时，为了防止引发连锁的数据库雪崩，甚至是整个系统的崩溃，我们暂停业务应用对缓存系统的接口访问。再具体点说，就是业务应用调用缓存接口时，缓存客户端并不把请求发给 Redis 缓存实例，而是直接返回，等到 Redis 缓存实例重新恢复服务后，再允许应用请求发送到缓存系统。

        这样一来，我们就避免了大量请求因缓存缺失，而积压到数据库系统，保证了数据库系统的正常运行， 服务熔断虽然可以保证数据库的正常运行，但是暂停了整个缓存系统的访问，对业务应用的影响范围大。为了尽可能减少这种影响，我们也可以进行请求限流。 这里说的请求限流，就是指，我们在业务系统的请求入口前端控制每秒进入系统的请求数，避免过多的请求被发送到数据库。

         第二个建议就是事前预防

通过主从节点的方式构建 Redis 缓存高可靠集群。如果 Redis 缓存的主节点故障宕机了，从节点还可以切换成为主节点，继续提供缓存服务，避免了由于缓存实例宕机而导致的缓存雪崩问题。

Redis缓存穿透原理

缓存穿透的主要原因就是：查询某个Key对应的数据，Redis缓存中没有相应的数据，则直接到数据库中查询。数据库中也不存在要查询的数据，则数据库会返回空，而Redis也不会缓存这个空结果。这就造成每次通过这样的Key去查询数据都会直接到数据库中查询，Redis不会缓存空结果。

缓存穿透

 缓存击穿是指，针对某个访问非常频繁的热点数据的请求，无法在缓存中进行处理，紧接着，访问该数据的大量请求，一下子都发送到了后端数据库，导致了数据库压力激增，会影响数据库处理其他请求。缓存击穿的情况，经常发生在热点数据过期失效时，如下图所示：

         为了避免缓存击穿给数据库带来的激增压力，我们的解决方法也比较直接，对于访问特别频繁的热点数据，我们就不设置过期时间了。这样一来，对热点数据的访问请求，都可以在缓存中进行处理，而 Redis 数万级别的高吞吐量可以很好地应对大量的并发请求访问。

针对缓存雪崩，合理地设置数据过期时间，以及搭建高可靠缓存集群

针对缓存击穿，在缓存访问非常频繁的热点数据时，不要设置过期时间

针对缓存穿透，提前在入口前端实现恶意请求检测，或者规范数据库的数据删除操作，避免误删除

解决方案：

热点数据永不过期

要值得注意的是，这里说到的永不过期并不是将热点数据存在时间设置为无限制。而是将过期时间存在key对应的value里，如果发现要过期了，通过一个后台的异步线程进行缓存的重建。

   为了避免缓存穿透的影响，给你提供三种应对方案。

        第一种方案是，缓存空值或缺省值。

        一旦发生缓存穿透，我们就可以针对查询的数据，在 Redis 中缓存一个空值或是和业务层协商确定的缺省值（例如，库存的缺省值可以设为 0）。紧接着，应用发送的后续请求再进行查询时，就可以直接从 Redis 中读取空值或缺省值，返回给业务应用了，避免了把大量请求发送给数据库处理，保持了数据库的正常运行。

        第二种方案是，使用布隆过滤器快速判断数据是否存在，避免从数据库中查询数据是否存在，减轻数据库压力。

        最后一种方案是，在请求入口的前端进行请求检测。缓存穿透的一个原因是有大量的恶意请求访问不存在的数据，所以，一个有效的应对方案是在请求入口前端，对业务系统接收到的请求进行合法性检测，把恶意的请求（例如请求参数不合理、请求参数是非法值、请求字段不存在）直接过滤掉，不让它们访问后端缓存和数据库。这样一来，也就不会出现缓存穿透问题了。

Redis的应用场景

      1，数据缓存

      2，数据分布式共享

      3，限流

      4，分布式锁

      5，限流