redis持久化、内存优化、过期、LRU内存

为什么80%的码农都做不了架构师？>>>   

1、过期（expire命令）

    设置了失效时间的元素，对于DEL/SET/GETSET/*STORE这些会删除或者重新设置元素的命令，如果失效时间没有到时，失效时间会被清理。对于其他命令如，LPUSH，DECR等不会清理掉元素的失效时间。

    可以通过PERSIST设置元素为非失效时间元素。

    RENAME设置元素时，不管被设置的新的元素是否存在，被重新设置的新的元素都会使用原来元素的失效时间设置或者继承原来元素的所有属性。

    在已经存在失效时间的元素上调用EXPIRE时，对应该元素的失效时间会被重新设置成新设置的值。

    redis2.6之前失效时间清理的延时可能在0~1s内，之后就可以控制在0~1ms了。redis的失效时间是通过设置绝对的系统timestamps时间，如果主从复制时，节点的时间存在大的时间差，那就会存在数据不一致的问题。

    redis随机检查20个设置了失效时间的元素，删除已经失效的元素，如果存在25%的元素失效，那么redis会重复这个动作。redis会在1s中重复10次这个检查。

    主从同步时，如果元素失效时，master节点通过在AOF文件和所有的slave节点发送DEL命令，通过这种方式，由master为中心，slave节点会等待master发送DEL命令，保证了数据的一致。在集群中如果slave被选举为master，对于失效的元素，该节点做为master就可以立即删除失效的元素了。

2、持久化

持久化支持RDB和AOF方式

Redis 提供了多种不同级别的持久化方式：

• RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）。
• AOF 持久化记录服务器执行的所有写操作命令，并在服务器启动时，通过重新执行这些命令来还原数据集。 AOF 文件中的命令全部以 Redis 协议的格式来保存，新命令会被追加到文件的末尾。 Redis 还可以在后台对 AOF 文件进行重写（rewrite），使得 AOF 文件的体积不会超出保存数据集状态所需的实际大小。
• Redis 还可以同时使用 AOF 持久化和 RDB 持久化。 在这种情况下， 当 Redis 重启时， 它会优先使用 AOF 文件来还原数据集， 因为 AOF 文件保存的数据集通常比 RDB 文件所保存的数据集更完整。
• 你甚至可以关闭持久化功能，让数据只在服务器运行时存在。

redis在启动的时候，默认会去加载RDB文件（在AOF持久化未开启的情况下）快照文件，并且在完成加载后才等待客户端的连接。

[7084] 13 Jul 17:31:16.875 # Server started, Redis version 3.0.501
[7084] 13 Jul 17:31:16.875 * DB loaded from disk: 0.000 seconds
[7084] 13 Jul 17:31:16.875 * The server is now ready to accept connections on port 6379

如果配置文件中设置AOF方式，即“appendonly yes”，redis会去加载aof文件，同样是在完成加载后才等待客户端的连接，这个时候就不会加载RDB文件了。

[6540] 13 Jul 17:28:33.504 # Server started, Redis version 3.0.501
[6540] 13 Jul 17:28:45.563 * DB loaded from append only file: 12.059 seconds
[6540] 13 Jul 17:28:45.563 * The server is now ready to accept connections on port 6379

3、RDB和AOF方式的优缺点

RDB 的优点

• RDB 是一个非常紧凑（compact）的文件，它保存了 Redis 在某个时间点上的数据集。 这种文件非常适合用于进行备份： 比如说，你可以在最近的 24 小时内，每小时备份一次 RDB 文件，并且在每个月的每一天，也备份一个 RDB 文件。 这样的话，即使遇上问题，也可以随时将数据集还原到不同的版本。
• RDB 非常适用于灾难恢复（disaster recovery）：它只有一个文件，并且内容都非常紧凑，可以（在加密后）将它传送到别的数据中心，或者亚马逊 S3 中。
• RDB 可以最大化 Redis 的性能：父进程在保存 RDB 文件时唯一要做的就是 fork 出一个子进程，然后这个子进程就会处理接下来的所有保存工作，父进程无须执行任何磁盘 I/O 操作。
• RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。

RDB 的缺点

• 如果你需要尽量避免在服务器故障时丢失数据，那么 RDB 不适合你。 虽然 Redis 允许你设置不同的保存点（save point）来控制保存 RDB 文件的频率， 但是， 因为RDB 文件需要保存整个数据集的状态， 所以它并不是一个轻松的操作。 因此你可能会至少 5 分钟才保存一次 RDB 文件。 在这种情况下， 一旦发生故障停机， 你就可能会丢失好几分钟的数据。
• 每次保存 RDB 的时候，Redis 都要 fork() 出一个子进程，并由子进程来进行实际的持久化工作。 在数据集比较庞大时， fork()可能会非常耗时，造成服务器在某某毫秒内停止处理客户端； 如果数据集非常巨大，并且 CPU 时间非常紧张的话，那么这种停止时间甚至可能会长达整整一秒。 虽然 AOF 重写也需要进行 fork() ，但无论 AOF 重写的执行间隔有多长，数据的耐久性都不会有任何损失。

AOF 的优点

• 使用 AOF 持久化会让 Redis 变得非常耐久（much more durable）：你可以设置不同的 fsync 策略，比如无 fsync ，每秒钟一次 fsync ，或者每次执行写入命令时 fsync 。 AOF 的默认策略为每秒钟 fsync 一次，在这种配置下，Redis 仍然可以保持良好的性能，并且就算发生故障停机，也最多只会丢失一秒钟的数据（ fsync 会在后台线程执行，所以主线程可以继续努力地处理命令请求）。
• AOF 文件是一个只进行追加操作的日志文件（append only log）， 因此对 AOF 文件的写入不需要进行 seek ， 即使日志因为某些原因而包含了未写入完整的命令（比如写入时磁盘已满，写入中途停机，等等）， redis-check-aof 工具也可以轻易地修复这种问题。
• Redis 可以在 AOF 文件体积变得过大时，自动地在后台对 AOF 进行重写： 重写后的新 AOF 文件包含了恢复当前数据集所需的最小命令集合。 整个重写操作是绝对安全的，因为 Redis 在创建新 AOF 文件的过程中，会继续将命令追加到现有的 AOF 文件里面，即使重写过程中发生停机，现有的 AOF 文件也不会丢失。 而一旦新 AOF 文件创建完毕，Redis 就会从旧 AOF 文件切换到新 AOF 文件，并开始对新 AOF 文件进行追加操作。
• AOF 文件有序地保存了对数据库执行的所有写入操作， 这些写入操作以 Redis 协议的格式保存， 因此 AOF 文件的内容非常容易被人读懂， 对文件进行分析（parse）也很轻松。 导出（export） AOF 文件也非常简单： 举个例子， 如果你不小心执行了 FLUSHALL 命令， 但只要 AOF 文件未被重写， 那么只要停止服务器， 移除 AOF 文件末尾的 FLUSHALL 命令， 并重启 Redis ， 就可以将数据集恢复到 FLUSHALL 执行之前的状态。

AOF 的缺点

• 对于相同的数据集来说，AOF 文件的体积通常要大于 RDB 文件的体积。
• 根据所使用的 fsync 策略，AOF 的速度可能会慢于 RDB 。 在一般情况下， 每秒 fsync 的性能依然非常高， 而关闭 fsync 可以让 AOF 的速度和 RDB 一样快， 即使在高负荷之下也是如此。 不过在处理巨大的写入载入时，RDB 可以提供更有保证的最大延迟时间（latency）。
• AOF 在过去曾经发生过这样的 bug ： 因为个别命令的原因，导致 AOF 文件在重新载入时，无法将数据集恢复成保存时的原样。 （举个例子，阻塞命令 BRPOPLPUSH 就曾经引起过这样的 bug 。） 测试套件里为这种情况添加了测试： 它们会自动生成随机的、复杂的数据集， 并通过重新载入这些数据来确保一切正常。 虽然这种 bug 在 AOF 文件中并不常见， 但是对比来说， RDB 几乎是不可能出现这种 bug 的。

 

参考资料：

http://redisdoc.com/topic/persistence.html

http://redis.io/commands/expire

http://redis.io/topics/persistence 

http://oldblog.antirez.com/post/redis-persistence-demystified.html

http://redis.io/topics/memory-optimization

http://www.infoq.com/cn/articles/tq-redis-memory-usage-optimization-storage

http://redis.io/topics/lru-cache

转载于:https://my.oschina.net/u/914290/blog/710878