Redis与Memcache对比及缓存穿透雪崩解决方案

一，Redis与Memcache对比

1，从性能上：

     平均每一个核上Redis在存储小数据时比Memcached性能更高；而在100k以上的数据中，Memcached性能要高于Redis。

2，从内存利用率上：

对于key-value这样简单的数据储存，memcache的内存使用率更高；如果采用hash结构，redis的内存使用率会更高，Redis增加了VM的特性，突破了物理内存的限制。

3，持久化上：

memecache 把数据全部存在内存之中，断电后会挂掉，数据不能超过内存大小；

redis有部份存在硬盘上，这样能保证数据的持久性，支持数据的持久化。

4，数据类型上：

redis在数据支持上要比memecache多的多；Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储；不过memcache还可用于缓存其他东西，例如图片、视频等等。

5，网络IO模型上：

  memcached是多线程的，非阻塞IO复用网络模型，分为 listener主线程 和 worker子线程，listener线程监听网络连接，接受请求后将连接描述字pipe传递给worker（一般的高复用都是这种处理方式），进行读写IO，网络层使用的libevent封装的事件库，多线程模型可以发挥多核作用，但是也引入了cache coherency 和 锁的问题,比如：memcached最常用的stats命令，实际memcached所有的操作都要对这个全局变量加锁，进行计数等工作，这会带来性能损耗。

   redis使用的是单线程IO复用模型，自己封装了一个简单的AeEvent事件处理框架，主要实现了epoll，kquue 和 select，对于单存只有 IO操作来说，单线程可以将速度发挥大最大优势，但是redis也提供了简单的计算功能，比如排序、聚合等，对于这些操作，单线程模型会严重影响整体的吞吐量，CPU计算过程中，整个IO调度都是被阻塞的。

7，内存管理机制：

    redis 与 memcached 军使用了自身设计的内存管理机制，但实现方法存在很大差异：

    memcached默认使用 Slab Allocation机制管理内存，其主要思想按照预先规定的大小将分配的内存分割成特定长度的块以存储相应长度的key-value数据，以完全解决内存碎片问题。Slab Allocation机制职位存储外部数据而设计，也就是说所有的key-value数据都存在 Slab Allocation系统中，而 memcached其他内存请求则通过普通的malloc/free来申请，因为这些请求的数量和频率决定了它们不会对整个系统造成影响。

    Redis的内存管理主要通过源码中zmalloc.h和zmalloc.c两个文件来实现的。Redis为了方便内存的管理，在分配一块内存之后，会将这块内存的大小存入内存块的头部。在Redis中，并不是所有的数据都一直存储在内存中的，当物理内存用完时，Redis可以将一些很久没用到的value交换到磁盘。

8，数据一致性上：

   Memcached提供了cas命令，可以保证多个并发访问操作同一份数据的一致性问题。 Redis没有提供cas 命令，并不能保证这点，不过Redis提供了事务的功能，可以保证一串 命令的原子性，中间不会被任何操作打断。

二、内存穿透

 缓存穿透是指缓存和数据库中都没有的数据，而用户不断发起请求，这时的用户很可能是攻击者，攻击会导致数据库压力过大。

 解决方案：

 1，接口层增加校验，如用户鉴权校验，id做基础校验非法参数拦截。

 2，从缓存取不到的数据，在数据库中也没有取到，这时也可以将key-value对写为key-null，缓存有效时间可以设置短点，如30秒（设置太长会导致正常情况也没法使用）。

三、内存击穿

  缓存击穿是指缓存中没有但数据库中有的数据（一般是缓存时间到期），这时由于并发用户特别多，同时读缓存没读到数据，又同时去数据库去取数据，引起数据库压力瞬间增大，造成过大压力

   解决方案：

    1，设置热点数据永远不过期。

    2，数据访问增加锁并发一，Redis与Memcache对比

1，从性能上：

     平均每一个核上Redis在存储小数据时比Memcached性能更高；而在100k以上的数据中，Memcached性能要高于Redis。

2，从内存利用率上：

对于key-value这样简单的数据储存，memcache的内存使用率更高；如果采用hash结构，redis的内存使用率会更高，Redis增加了VM的特性，突破了物理内存的限制。

3，持久化上：

memecache 把数据全部存在内存之中，断电后会挂掉，数据不能超过内存大小；

redis有部份存在硬盘上，这样能保证数据的持久性，支持数据的持久化。

4，数据类型上：

redis在数据支持上要比memecache多的多；Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储；不过memcache还可用于缓存其他东西，例如图片、视频等等。

5，网络IO模型上：

  memcached是多线程的，非阻塞IO复用网络模型，分为 listener主线程 和 worker子线程，listener线程监听网络连接，接受请求后将连接描述字pipe传递给worker（一般的高复用都是这种处理方式），进行读写IO，网络层使用的libevent封装的事件库，多线程模型可以发挥多核作用，但是也引入了cache coherency 和 锁的问题,比如：memcached最常用的stats命令，实际memcached所有的操作都要对这个全局变量加锁，进行计数等工作，这会带来性能损耗。

   redis使用的是单线程IO复用模型，自己封装了一个简单的AeEvent事件处理框架，主要实现了epoll，kquue 和 select，对于单存只有 IO操作来说，单线程可以将速度发挥大最大优势，但是redis也提供了简单的计算功能，比如排序、聚合等，对于这些操作，单线程模型会严重影响整体的吞吐量，CPU计算过程中，整个IO调度都是被阻塞的。

7，内存管理机制：

    redis 与 memcached 军使用了自身设计的内存管理机制，但实现方法存在很大差异：

    memcached默认使用 Slab Allocation机制管理内存，其主要思想按照预先规定的大小将分配的内存分割成特定长度的块以存储相应长度的key-value数据，以完全解决内存碎片问题。Slab Allocation机制职位存储外部数据而设计，也就是说所有的key-value数据都存在 Slab Allocation系统中，而 memcached其他内存请求则通过普通的malloc/free来申请，因为这些请求的数量和频率决定了它们不会对整个系统造成影响。

    Redis的内存管理主要通过源码中zmalloc.h和zmalloc.c两个文件来实现的。Redis为了方便内存的管理，在分配一块内存之后，会将这块内存的大小存入内存块的头部。在Redis中，并不是所有的数据都一直存储在内存中的，当物理内存用完时，Redis可以将一些很久没用到的value交换到磁盘。

8，数据一致性上：

   Memcached提供了cas命令，可以保证多个并发访问操作同一份数据的一致性问题。 Redis没有提供cas 命令，并不能保证这点，不过Redis提供了事务的功能，可以保证一串 命令的原子性，中间不会被任何操作打断。

二、内存穿透

 缓存穿透是指缓存和数据库中都没有的数据，而用户不断发起请求，这时的用户很可能是攻击者，攻击会导致数据库压力过大。

 解决方案：

 1，接口层增加校验，如用户鉴权校验，id做基础校验非法参数拦截。

 2，从缓存取不到的数据，在数据库中也没有取到，这时也可以将key-value对写为key-null，缓存有效时间可以设置短点，如30秒（设置太长会导致正常情况也没法使用）。

三、内存击穿

  缓存击穿是指缓存中没有但数据库中有的数据（一般是缓存时间到期），这时由于并发用户特别多，同时读缓存没读到数据，又同时去数据库去取数据，引起数据库压力瞬间增大，造成过大压力

   解决方案：

    1，设置热点数据永远不过期。

    2，数据访问增加锁并发控制，数据库连接线程池隔离及限流措施等。

四、缓存雪崩

    缓存雪崩是指缓存中数据大批量到过期时间，而查询数据量巨大，引起数据库压力过大甚至down机。和缓存击穿不同的是，        缓存击穿指并发查同一条数据，缓存雪崩是不同数据都过期了，很多数据都查不到从而查数据库。

    解决方案：       

    1，缓存数据的过期时间设置随机，防止同一时间大量数据过期现象发生。

    2，如果缓存数据库是分布式部署，将热点数据均匀分布在不同搞得缓存数据库中。

    3，设置热点数据永远不过期。

    控制，数据库连接线程池隔离及限流措施等。

四、缓存雪崩

    缓存雪崩是指缓存中数据大批量到过期时间，而查询数据量巨大，引起数据库压力过大甚至down机。和缓存击穿不同的是，        缓存击穿指并发查同一条数据，缓存雪崩是不同数据都过期了，很多数据都查不到从而查数据库。

    解决方案：       

    1，缓存数据的过期时间设置随机，防止同一时间大量数据过期现象发生。

    2，如果缓存数据库是分布式部署，将热点数据均匀分布在不同搞得缓存数据库中。

    3，设置热点数据永远不过期。