Redis场景问题

本文深入探讨Redis作为高性能内存数据库的特性,包括数据结构、持久化机制、集群方案及优化策略。Redis支持丰富的数据类型,如字符串、列表、集合等,提供出色的性能和数据持久化功能。文章详细介绍了Redis在会话缓存、全页缓存、队列系统、排行榜和发布订阅等功能中的应用,并讨论了其在高并发场景下的优势与挑战。

1、什么是 Redis

Redis 本质上是一个 Key-Value 类型的内存数据库,很像 memcached,整个数据库统统

加载在内存当中进行操作,定期通过异步操作把数据库数据 flush 到硬盘上进行保存。因为

是纯内存操作,Redis 的性能非常出色,每秒可以处理超过 10 万次读写操作,是已知性能

最快的 Key-Value DB。

Redis 的出色之处不仅仅是性能,Redis 最大的魅力是支持保存多种数据结构,此外单个

value 的最大限制是 1GB,不像 memcached 只能保存 1MB 的数据,因此 Redis 可以用

来实现很多有用的功能,比方说用他的 List 来做 FIFO 双向链表,实现一个轻量级的高性 能

消息队列服务,用他的 Set 可以做高性能的 tag 系统等等。另外 Redis 也可以对存入的

Key-Value 设置 expire 时间,因此也可以被当作一 个功能加强版的 memcached 来用。

Redis 的主要缺点是数据库容量受到物理内存的限制,不能用作海量数据的高性能读写,因

Redis 适合的场景主要局限在较小数据量的高性能操作和运算上。

2Redis 相比 memcached 有哪些优势?

(1) memcached 所有的值均是简单的字符串,Redis 作为其替代者,支持更为丰富的数据类

(2) Redis 的速度比 memcached 快很多

(3) Redis 可以持久化其数据

3Redis 支持哪几种数据类型?

StringListSetSorted Sethashes

4Redis 主要消耗什么物理资源?

内存。

5Redis 的全称是什么?

Remote Dictionary Server

6Redis 有哪几种数据淘汰策略?

noeviction:返回错误当内存限制达到并且客户端尝试执行会让更多内存被使用的命令(大

部分的写入指令,但 DEL 和几个例外)

allkeys-lru: 尝试回收最少使用的键(LRU),使得新添加的数据有空间存放。

volatile-lru: 尝试回收最少使用的键(LRU),但仅限于在过期集合的键,使得新添加的数据

有空间存放。

allkeys-random: 回收随机的键使得新添加的数据有空间存放。

volatile-random: 回收随机的键使得新添加的数据有空间存放,但仅限于在过期集合的键。

volatile-ttl: 回收在过期集合的键,并且优先回收存活时间(TTL)较短的键,使得新添加的

数据有空间存放。7Redis 官方为什么不提供 Windows 版本?

因为目前 Linux 版本已经相当稳定,而且用户量很大,无需开发 windows 版本,反而会带来

兼容性等问题。

8、一个字符串类型的值能存储最大容量是多少?

512M

9、为什么 Redis 需要把所有数据放到内存中?

Redis 为了达到最快的读写速度将数据都读到内存中,并通过异步的方式将数据写入磁盘。

所以 Redis 具有快速和数据持久化的特征。如果不将数据放在内存中,磁盘 I/O 速度为严重

影响 Redis 的性能。在内存越来越便宜的今天,Redis 将会越来越受欢迎。

如果设置了最大使用的内存,则数据已有记录数达到内存限值后不能继续插入新值。

10Redis 集群方案应该怎么做?都有哪些方案?

1.twemproxy,大概概念是,它类似于一个代理方式,使用方法和普通 Redis 无任何区别,

设置好它下属的多个 Redis 实例后,使用时在本需要连接 Redis 的地方改为连接

twemproxy,它会以一个代理的身份接收请求并使用一致性 hash 算法,将请求转接到具

Redis,将结果再返回 twemproxy。使用方式简便(相对 Redis 只需修改连接端口),对

旧项目扩展的首选。 问题:twemproxy 自身单端口实例的压力,使用一致性 hash 后,对

Redis 节点数量改变时候的计算值的改变,数据无法自动移动到新的节点。

2. codis,目前用的最多的集群方案,基本和 twemproxy 一致的效果,但它支持在 节点

数量改变情况下,旧节点数据可恢复到新 hash 节点。

3. Redis cluster3.0 自带的集群,特点在于他的分布式算法不是一致性 hash,而是 hash

槽的概念,以及自身支持节点设置从节点。具体看官方文档介绍。

4.在业务代码层实现,起几个毫无关联的 Redis 实例,在代码层,对 key 进行 hash 计算,

然后去对应的 Redis 实例操作数据。 这种方式对 hash 层代码要求比较高,考虑部分包括,

节点失效后的替代算法方案,数据震荡后的自动脚本恢复,实例的监控,等等。

11Redis 集群方案什么情况下会导致整个集群不可用?

ABC 三个节点的集群,在没有复制模型的情况下,如果节点 B 失败了,那么整个集群就

会以为缺少 5501-11000 这个范围的槽而不可用。

12MySQL 里有 2000w 数据,Redis 中只存 20w 的数据,如何保证 Redis 中的数据都是热点数据?

Redis 内存数据集大小上升到一定大小的时候,就会施行数据淘汰策略。

13Redis 有哪些适合的场景?

(1)、会话缓存(Session Cache)

最常用的一种使用 Redis 的情景是会话缓存(session cache)。用 Redis 缓存会话比其他

存储(如 Memcached)的优势在于:Redis 提供持久化。当维护一个不是严格要求一致性

的缓存时,如果用户的购物车信息全部丢失,大部分人都会不高兴的,现在,他们还会这样

吗?

幸运的是,随着 Redis 这些年的改进,很容易找到怎么恰当的使用 Redis 来缓存会话的文

档。甚至广为人知的商业平台 Magento 也提供 Redis 的插件。

(2)、全页缓存(FPC)

除基本的会话 token 之外,Redis 还提供很简便的 FPC 平台。回到一致性问题,即使重启

Redis 实例,因为有磁盘的持久化,用户也不会看到页面加载速度的下降,这是一个极

大改进,类似 PHP 本地 FPC。

再次以 Magento 为例,Magento 提供一个插件来使用 Redis 作为全页缓存后端。

此外,对 WordPress 的用户来说,Pantheon 有一个非常好的插件 wp-Redis,这个插件

能帮助你以最快速度加载你曾浏览过的页面。

(3)、队列

Reids 在内存存储引擎领域的一大优点是提供 list 和 set 操作,这使得 Redis 能作为一个

很好的消息队列平台来使用。Redis 作为队列使用的操作,就类似于本地程序语言(如

Python)对 list 的 push/pop 操作。

如果你快速的在 Google 中搜索“Redis queues”,你马上就能找到大量的开源项目,这些

项目的目的就是利用 Redis 创建非常好的后端工具,以满足各种队列需求。例如,Celery

有一个后台就是使用 Redis 作为 broker,你可以从这里去查看。

(4)、排行榜/计数器

Redis在内存中对数字进行递增或递减的操作实现的非常好。集合(Set)和有序集合(Sorted

Set)也使得我们在执行这些操作的时候变的非常简单,Redis 只是正好提供了这两种数据

结构。所以,我们要从排序集合中获取到排名最靠前的 10 个用户–我们称之为

“user_scores”,我们只需要像下面一样执行即可:

当然,这是假定你是根据你用户的分数做递增的排序。如果你想返回用户及用户的分数,你需要这样执行:

ZRANGE user_scores 0 10 WITHSCORES

Agora Games 就是一个很好的例子,用 Ruby 实现的,它的排行榜就是使用 Redis 来存储

数据的,你可以在这里看到。

(5)、发布/订阅

最后(但肯定不是最不重要的)是 Redis 的发布/订阅功能。发布/订阅的使用场景确实非

常多。我已看见人们在社交网络连接中使用,还可作为基于发布/订阅的脚本触发器,甚至

Redis 的发布/订阅功能来建立聊天系统!(不,这是真的,你可以去核实)。

14Redis 支持的 Java 客户端都有哪些?官方推荐用哪个?

RedissonJedislettuce 等等,官方推荐使用 Redisson

15Redis Redisson 有什么关系?

Redisson 是一个高级的分布式协调 Redis 客服端,能帮助用户在分布式环境中轻松实现一

些 Java 的对象 (Bloom filter, BitSet, Set, SetMultimap, ScoredSortedSet, SortedSet,

Map, ConcurrentMap, List, ListMultimap, Queue, BlockingQueue, Deque,

BlockingDeque, Semaphore, Lock, ReadWriteLock, AtomicLong,

CountDownLatch, Publish / Subscribe, HyperLogLog)。

16Jedis Redisson 对比有什么优缺点?

Jedis 是 Redis 的 Java 实现的客户端,其 API 提供了比较全面的 Redis 命令的支持;

Redisson 实现了分布式和可扩展的 Java 数据结构,和 Jedis 相比,功能较为简单,不支

持字符串操作,不支持排序、事务、管道、分区等 Redis 特性。Redisson 的宗旨是促进使

用者对 Redis 的关注分离,从而让使用者能够将精力更集中地放在处理业务逻辑上。

17Redis 如何设置密码及验证密码?

设置密码:config set requirepass 123456

授权密码:auth 123456

18、说说 Redis 哈希槽的概念?

Redis 集群没有使用一致性 hash,而是引入了哈希槽的概念,Redis 集群有 16384 个哈希槽,

每个 key 通过 CRC16 校验后对 16384 取模来决定放置哪个槽,集群的每个节点负责一部分

hash 槽。19Redis 集群的主从复制模型是怎样的?

为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用,所以集群使用了主

从复制模型,每个节点都会有 N-1 个复制品.

20Redis 集群会有写操作丢失吗?为什么?

Redis 并不能保证数据的强一致性,这意味这在实际中集群在特定的条件下可能会丢失写操

作。

21Redis 集群之间是如何复制的?

异步复制

22Redis 集群最大节点个数是多少?

16384 个。

23Redis 集群如何选择数据库?

Redis 集群目前无法做数据库选择,默认在 0 数据库。

24、怎么测试 Redis 的连通性?

ping

25Redis 中的管道有什么用?

一次请求/响应服务器能实现处理新的请求即使旧的请求还未被响应。这样就可以将多个命

令发送到服务器,而不用等待回复,最后在一个步骤中读取该答复。

这就是管道(pipelining),是一种几十年来广泛使用的技术。例如许多 POP3 协议已经实现

支持这个功能,大大加快了从服务器下载新邮件的过程。

26、怎么理解 Redis 事务?

事务是一个单独的隔离操作:事务中的所有命令都会序列化、按顺序地执行。事务在执行的

过程中,不会被其他客户端发送来的命令请求所打断。

事务是一个原子操作:事务中的命令要么全部被执行,要么全部都不执行。

27Redis 事务相关的命令有哪几个?

MULTIEXECDISCARDWATCH28Redis key 的过期时间和永久有效分别怎么设置?

EXPIRE PERSIST 命令。

29Redis 如何做内存优化?

尽可能使用散列表(hashes),散列表(是说散列表里面存储的数少)使用的内存非常小,

所以你应该尽可能的将你的数据模型抽象到一个散列表里面。比如你的 web 系统中有一个

用户对象,不要为这个用户的名称,姓氏,邮箱,密码设置单独的 key,而是应该把这个用户

的所有信息存储到一张散列表里面.

30Redis 回收进程如何工作的?

一个客户端运行了新的命令,添加了新的数据。

Redi 检查内存使用情况,如果大于 maxmemory 的限制, 则根据设定好的策略进行回收。

一个新的命令被执行,等等。

所以我们不断地穿越内存限制的边界,通过不断达到边界然后不断地回收回到边界以下。

如果一个命令的结果导致大量内存被使用(例如很大的集合的交集保存到一个新的键),不

用多久内存限制就会被这个内存使用量超越。

31Redis 回收使用的是什么算法?

LRU 算法

32Redis 如何做大量数据插入?

Redis2.6 开始 Redis-cli 支持一种新的被称之为 pipe mode 的新模式用于执行大量数据插入工

作。

33、为什么要做 Redis 分区?

分区可以让 Redis 管理更大的内存,Redis 将可以使用所有机器的内存。如果没有分区,你

最多只能使用一台机器的内存。分区使 Redis 的计算能力通过简单地增加计算机得到成倍提

,Redis 的网络带宽也会随着计算机和网卡的增加而成倍增长。

34、你知道有哪些 Redis 分区实现方案?

客户端分区就是在客户端就已经决定数据会被存储到哪个 Redis 节点或者从哪个 Redis

点读取。大多数客户端已经实现了客户端分区。代理分区 意味着客户端将请求发送给代理,然后代理决定去哪个节点写数据或者读数据。

代理根据分区规则决定请求哪些 Redis 实例,然后根据 Redis 的响应结果返回给客户端。

Redis 和 memcached 的一种代理实现就是 Twemproxy

查询路由(Query routing) 的意思是客户端随机地请求任意一个 Redis 实例,然后由 Redis

将请求转发给正确的 Redis 节点。Redis Cluster 实现了一种混合形式的查询路由,但并不

是直接将请求从一个 Redis 节点转发到另一个 Redis 节点,而是在客户端的帮助下直接

redirected 到正确的 Redis 节点。

35Redis 分区有什么缺点?

涉及多个 key 的操作通常不会被支持。例如你不能对两个集合求交集,因为他们可能被存

储到不同的 Redis 实例(实际上这种情况也有办法,但是不能直接使用交集指令)。

同时操作多个 key,则不能使用 Redis 事务.

分区使用的粒度是key,不能使用一个非常长的排序key存储一个数据集(The partitioning

granularity is the key, so it is not possible to shard a dataset with a single huge

key like a very big sorted set).

当使用分区的时候,数据处理会非常复杂,例如为了备份你必须从不同的 Redis 实例和主

机同时收集 RDB / AOF 文件。

分区时动态扩容或缩容可能非常复杂。Redis 集群在运行时增加或者删除 Redis 节点,能

做到最大程度对用户透明地数据再平衡,但其他一些客户端分区或者代理分区方法则不支持

这种特性。然而,有一种预分片的技术也可以较好的解决这个问题。

36Redis 持久化数据和缓存怎么做扩容?

如果 Redis 被当做缓存使用,使用一致性哈希实现动态扩容缩容。

如果 Redis 被当做一个持久化存储使用,必须使用固定的 keys-to-nodes 映射关系,节点的

数量一旦确定不能变化。否则的话(Redis 节点需要动态变化的情况),必须使用可以在运

行时进行数据再平衡的一套系统,而当前只有 Redis 集群可以做到这样。

37、分布式 Redis 是前期做还是后期规模上来了再做好?为

什么?

既然 Redis 是如此的轻量(单实例只使用 1M 内存),为防止以后的扩容,最好的办法就是

一开始就启动较多实例。即便你只有一台服务器,你也可以一开始就让 Redis 以分布式的

方式运行,使用分区,在同一台服务器上启动多个实例。一开始就多设置几个 Redis 实例,例如 32 或者 64 个实例,对大多数用户来说这操作起来

可能比较麻烦,但是从长久来看做这点牺牲是值得的。

这样的话,当你的数据不断增长,需要更多的 Redis 服务器时,你需要做的就是仅仅将 Redis

实例从一台服务迁移到另外一台服务器而已(而不用考虑重新分区的问题)。一旦你添加了

另一台服务器,你需要将你一半的 Redis 实例从第一台机器迁移到第二台机器。

38Twemproxy 是什么?

Twemproxy 是 Twitter 维护的(缓存)代理系统,代理 Memcached 的 ASCII 协议和 Redis

协议。它是单线程程序,使用 c 语言编写,运行起来非常快。它是采用 Apache 2.0 license

的开源软件。

Twemproxy 支持自动分区,如果其代理的其中一个 Redis 节点不可用时,会自动将该节点

排除(这将改变原来的 keys-instances 的映射关系,所以你应该仅在把 Redis 当缓存时使

用 Twemproxy)。

Twemproxy 本身不存在单点问题,因为你可以启动多个 Twemproxy 实例,然后让你的客

户端去连接任意一个 Twemproxy 实例。

Twemproxy 是 Redis 客户端和服务器端的一个中间层,由它来处理分区功能应该不算复杂,

并且应该算比较可靠的。

39、支持一致性哈希的客户端有哪些?

Redis-rbPRedis 等。

40Redis 与其他 key-value 存储有什么不同?

Redis 有着更为复杂的数据结构并且提供对他们的原子性操作,这是一个不同于其他数据库

的进化路径。Redis 的数据类型都是基于基本数据结构的同时对程序员透明,无需进行额外

的抽象。

Redis 运行在内存中但是可以持久化到磁盘,所以在对不同数据集进行高速读写时需要权衡

内存,应为数据量不能大于硬件内存。在内存数据库方面的另一个优点是, 相比在磁盘上

相同的复杂的数据结构,在内存中操作起来非常简单,这样 Redis 可以做很多内部复杂性

很强的事情。 同时,在磁盘格式方面他们是紧凑的以追加的方式产生的,因为他们并不需

要进行随机访问。

41Redis 的内存占用情况怎么样?

给你举个例子: 100 万个键值对(键是 0 到 999999 值是字符串“hello world”)在我的

32 位的 Mac 笔记本上 用了 100MB。同样的数据放到一个 key 里只需要 16MB, 这是

因为键值有一个很大的开销。 在 Memcached 上执行也是类似的结果,但是相对 Redis

的开销要小一点点,因为 Redis 会记录类型信息引用计数等等。

当然,大键值对时两者的比例要好很多。64 位的系统比 32 位的需要更多的内存开销,尤其是键值对都较小时,这是因为 64 位的系

统里指针占用了 8 个字节。 但是,当然,64 位系统支持更大的内存,所以为了运行大型

Redis 服务器或多或少的需要使用 64 位的系统。

42、都有哪些办法可以降低 Redis 的内存使用情况呢?

如果你使用的是 32 位的 Redis 实例,可以好好利用 Hash,list,sorted set,set 等集合类型数据,

因为通常情况下很多小的 Key-Value 可以用更紧凑的方式存放到一起。

43、查看 Redis 使用情况及状态信息用什么命令?

info

44Redis 的内存用完了会发生什么?

如果达到设置的上限,Redis 的写命令会返回错误信息(但是读命令还可以正常返回。)或

者你可以将 Redis 当缓存来使用配置淘汰机制,当 Redis 达到内存上限时会冲刷掉旧的内容。

45Redis 是单线程的,如何提高多核 CPU 的利用率?

可以在同一个服务器部署多个 Redis 的实例,并把他们当作不同的服务器来使用,在某些时

候,无论如何一个服务器是不够的,

所以,如果你想使用多个 CPU,你可以考虑一下分片(shard)。

46、一个 Redis 实例最多能存放多少的 keysListSet

Sorted Set 他们最多能存放多少元素?

理论上 Redis 可以处理多达 232 keys,并且在实际中进行了测试,每个实例至少存放了 2

亿 5 千万的 keys。我们正在测试一些较大的值。

任何 listset、和 sorted set 都可以放 232 个元素。

换句话说,Redis 的存储极限是系统中的可用内存值。

47Redis 常见性能问题和解决方案?

(1) Master 最好不要做任何持久化工作,如 RDB 内存快照和 AOF 日志文件

(2) 如果数据比较重要,某个 Slave 开启 AOF 备份数据,策略设置为每秒同步一次

(3) 为了主从复制的速度和连接的稳定性,Master 和 Slave 最好在同一个局域网内(4) 尽量避免在压力很大的主库上增加从库

(5) 主从复制不要用图状结构,用单向链表结构更为稳定,即:Master <- Slave1 <- Slave2

<- Slave3...

这样的结构方便解决单点故障问题,实现 Slave 对 Master 的替换。如果 Master 挂了,可

以立刻启用 Slave1 做 Master,其他不变。

48Redis 提供了哪几种持久化方式?

RDB 持久化方式能够在指定的时间间隔能对你的数据进行快照存储.

AOF 持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来

恢复原始的数据,AOF 命令以 Redis 协议追加保存每次写的操作到文件末尾.Redis 还能对

AOF 文件进行后台重写,使得 AOF 文件的体积不至于过大.

如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化方式.

你也可以同时开启两种持久化方式, 在这种情况下, 当 Redis 重启的时候会优先载入 AOF

文件来恢复原始的数据,因为在通常情况下 AOF 文件保存的数据集要比 RDB 文件保存的数

据集要完整.

最重要的事情是了解 RDB 和 AOF 持久化方式的不同,让我们以 RDB 持久化方式开始。

49、如何选择合适的持久化方式?

一般来说, 如果想达到足以媲美 PostgreSQL 的数据安全性, 你应该同时使用两种持久

化功能。如果你非常关心你的数据, 但仍然可以承受数分钟以内的数据丢失,那么你可以

只使用 RDB 持久化。

有很多用户都只使用 AOF 持久化,但并不推荐这种方式:因为定时生成 RDB 快照

(snapshot)非常便于进行数据库备份, 并且 RDB 恢复数据集的速度也要比 AOF 恢复

的速度要快,除此之外, 使用 RDB 还可以避免之前提到的 AOF 程序的 bug。

50、修改配置不重启 Redis 会实时生效吗?

针对运行实例,有许多配置选项可以通过 CONFIG SET 命令进行修改,而无需执行任何

形式的重启。 从 Redis 2.2 开始,可以从 AOF 切换到 RDB 的快照持久性或其他方式

而不需要重启 Redis。检索 ‘CONFIG GET *’ 命令获取更多信息。

但偶尔重新启动是必须的,如为升级 Redis 程序到新的版本,或者当你需要修改某些目前

CONFIG 命令还不支持的配置参数的时候。

51、redis和memcached什么区别?为什么高并发下有时单线程的redis比多线程的memcached效率要高?

区别:

1.mc可缓存图片和视频。rd支持除k/v更多的数据结构;

2.rd可以使用虚拟内存,rd可持久化和aof灾难恢复,rd通过主从支持数据备份;

3.rd可以做消息队列。

原因:mc多线程模型引入了缓存一致性和锁,加锁带来了性能损耗。

52、redis主从复制如何实现的?redis的集群模式如何实现?redis的key是如何寻址的?

主从复制实现:主节点将自己内存中的数据做一份快照,将快照发给从节点,从节点将数据恢复到内存中。之后再每次增加新数据的时候,主节点以类似于mysql的二进制日志方式将语句发送给从节点,从节点拿到主节点发送过来的语句进行重放。

分片方式:

-客户端分片

-基于代理的分片

● Twemproxy

● codis

-路由查询分片

● Redis-cluster(本身提供了自动将数据分散到Redis Cluster不同节点的能力,整个数据集合的某个数据子集存储在哪个节点对于用户来说是透明的)

redis-cluster分片原理:Cluster中有一个16384长度的槽(虚拟槽),编号分别为0-16383。每个Master节点都会负责一部分的槽,当有某个key被映射到某个Master负责的槽,那么这个Master负责为这个key提供服务,至于哪个Master节点负责哪个槽,可以由用户指定,也可以在初始化的时候自动生成,只有Master才拥有槽的所有权。Master节点维护着一个16384/8字节的位序列,Master节点用bit来标识对于某个槽自己是否拥有。比如对于编号为1的槽,Master只要判断序列的第二位(索引从0开始)是不是为1即可。这种结构很容易添加或者删除节点。比如如果我想新添加个节点D, 我需要从节点A、B、 C中得部分槽到D上。

使用redis如何设计分布式锁?说一下实现思路?使用zk可以吗?如何实现?这两种有什么区别?

redis:

1.线程A setnx(上锁的对象,超时时的时间戳t1),如果返回true,获得锁。

2.线程B 用get获取t1,与当前时间戳比较,判断是是否超时,没超时false,若超时执行第3步;

3.计算新的超时时间t2,使用getset命令返回t3(该值可能其他线程已经修改过),如果t1==t3,获得锁,如果t1!=t3说明锁被其他线程获取了。

4.获取锁后,处理完业务逻辑,再去判断锁是否超时,如果没超时删除锁,如果已超时,不用处理(防止删除其他线程的锁)。

zk:

1.客户端对某个方法加锁时,在zk上的与该方法对应的指定节点的目录下,生成一个唯一的瞬时有序节点node1;

2.客户端获取该路径下所有已经创建的子节点,如果发现自己创建的node1的序号是最小的,就认为这个客户端获得了锁。

3.如果发现node1不是最小的,则监听比自己创建节点序号小的最大的节点,进入等待。

4.获取锁后,处理完逻辑,删除自己创建的node1即可。

区别:zk性能差一些,开销大,实现简单。

redis过期策略都有哪些?LRU算法知道吗?写一下java代码实现?

过期策略:

定时过期(一key一定时器),惰性过期:只有使用key时才判断key是否已过期,过期则清除。定期过期:前两者折中。

LRU:new LinkedHashMap<K, V>(capacity, DEFAULT_LOAD_FACTORY, true);

//第三个参数置为true,代表linkedlist按访问顺序排序,可作为LRU缓存;设为false代表按插入顺序排序,可作为FIFO缓存

LRU算法实现:1.通过双向链表来实现,新数据插入到链表头部;2.每当缓存命中(即缓存数据被访问),则将数据移到链表头部;3.当链表满的时候,将链表尾部的数据丢弃。

LinkedHashMap:HashMap和双向链表合二为一即是LinkedHashMap。HashMap是无序的,LinkedHashMap通过维护一个额外的双向链表保证了迭代顺序。该迭代顺序可以是插入顺序(默认),也可以是访问顺序。

缓存穿透、缓存击穿、缓存雪崩解决方案?

缓存穿透:指查询一个一定不存在的数据,如果从存储层查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到DB去查询,可能导致DB挂掉。

解决方案:1.查询返回的数据为空,仍把这个空结果进行缓存,但过期时间会比较短;2.布隆过滤器:将所有可能存在的数据哈希到一个足够大的bitmap中,一个一定不存在的数据会被这个bitmap拦截掉,从而避免了对DB的查询。

缓存击穿:对于设置了过期时间的key,缓存在某个时间点过期的时候,恰好这时间点对这个Key有大量的并发请求过来,这些请求发现缓存过期一般都会从后端DB加载数据并回设到缓存,这个时候大并发的请求可能会瞬间把DB压垮。

解决方案:1.使用互斥锁:当缓存失效时,不立即去load db,先使用如Redis的setnx去设置一个互斥锁,当操作成功返回时再进行load db的操作并回设缓存,否则重试get缓存的方法。2.永远不过期:物理不过期,但逻辑过期(后台异步线程去刷新)。

缓存雪崩:设置缓存时采用了相同的过期时间,导致缓存在某一时刻同时失效,请求全部转发到DB,DB瞬时压力过重雪崩。与缓存击穿的区别:雪崩是很多key,击穿是某一个key缓存。

解决方案:将缓存失效时间分散开,比如可以在原有的失效时间基础上增加一个随机值,比如1-5分钟随机,这样每一个缓存的过期时间的重复率就会降低,就很难引发集体失效的事件。

在选择缓存时,什么时候选择redis,什么时候选择memcached

选择redis的情况:

      1、复杂数据结构,value的数据是哈希,列表,集合,有序集合等这种情况下,会选择redis, 因为memcache无法满足这些数据结构,最典型的的使用场景是,用户订单列表,用户消息,帖子评论等。

      2、需要进行数据的持久化功能,但是注意,不要把redis当成数据库使用,如果redis挂了,内存能够快速恢复热数据,不会将压力瞬间压在数据库上,没有cache预热的过程。对于只读和数据一致性要求不高的场景可以采用持久化存储

      3、高可用,redis支持集群,可以实现主动复制,读写分离,而对于memcache如果想要实现高可用,需要进行二次开发。

      4、存储的内容比较大,memcache存储的value最大为1M。

选择memcache的场景:

     1、纯KV,数据量非常大的业务,使用memcache更合适,原因是,

           a)memcache的内存分配采用的是预分配内存池的管理方式,能够省去内存分配的时间,redis是临时申请空间,可能导致碎片化。

           b)虚拟内存使用,memcache将所有的数据存储在物理内存里,redis有自己的vm机制,理论上能够存储比物理内存更多的数据,当数据超量时,引发swap,把冷数据刷新到磁盘上,从这点上,数据量大时,memcache更快

           c)网络模型,memcache使用非阻塞的IO复用模型,redis也是使用非阻塞的IO复用模型,但是redis还提供了一些非KV存储之外的排序,聚合功能,复杂的CPU计算,会阻塞整个IO调度,从这点上由于redis提供的功能较多,memcache更快些

           d) 线程模型,memcache使用多线程,主线程监听,worker子线程接受请求,执行读写,这个过程可能存在锁冲突。redis使用的单线程,虽然无锁冲突,但是难以利用多核的特性提升吞吐量。

缓存与数据库不一致怎么办

假设采用读写分离的数据库,

先一个写请求淘汰缓存,写数据库,接着立刻一个读请求读缓存发现缓存不存在,读从数据库,写入缓存,以便后面的读能够命中(主从同步没有完成,缓存中放入了旧数据)

发生上述不一致的原因在于,主从库数据不一致问题,加入了缓存之后,主从不一致的时间被拉长了

处理思路:在从库有数据更新之后,将缓存当中的数据也同时进行更新,即当从库发生了数据更新之后,向缓存发出删除,淘汰这段时间写入的旧数据。

思路转化为:在从库同步完成之后,如果有旧数据入缓存,应该及时把这个旧数据淘汰掉。

主从数据库不一致如何解决

场景描述,对于主从库,读写分离,如果主从库更新同步有时差,就会导致主从库数据的不一致

1、忽略这个数据不一致,在数据一致性要求不高的业务下,未必需要时时一致性

2、强制读主库,使用一个高可用的主库,数据库读写都在主库,添加一个缓存,提升数据读取的性能。

3、选择性读主库,添加一个缓存,用来记录必须读主库的数据,将哪个库,哪个表,哪个主键,作为缓存的key,设置缓存失效的时间为主从库同步的时间,如果缓存当中有这个数据,直接读取主库,如果缓存当中没有这个主键,就到对应的从库中读取。

Redis常见的性能问题和解决方案

  1、master最好不要做持久化工作,如RDB内存快照和AOF日志文件

  2、如果数据比较重要,某个slave开启AOF备份,策略设置成每秒同步一次

  3、为了主从复制的速度和连接的稳定性,master和Slave最好在一个局域网内

  4、尽量避免在压力大得主库上增加从库

  5、主从复制不要采用网状结构,尽量是线性结构,Master<--Slave1<----Slave2 ....

如Redis里面有1亿个key,其中有10w个key是以某个固定的已知的前缀开头的,如果将它们全部找出来?

使用keys指令可以扫出指定模式的key列表。

对方接着追问:如果这个redis正在给线上的业务提供服务,那使用keys指令会有什么问题?

这个时候你要回答redis关键的一个特性:redis的单线程的。keys指令会导致线程阻塞一段时间,线上服务会停顿,直到指令执行完毕,服务才能恢复。这个时候可以使用scan指令,scan指令可以无阻塞的提取出指定模式的key列表,但是会有一定的重复概率,在客户端做一次去重就可以了,但是整体所花费的时间会比直接用keys指令长。

使用Redis做过异步队列吗,是如何实现的

    使用list类型保存数据信息,rpush生产消息,lpop消费消息,当lpop没有消息时,可以sleep一段时间,然后再检查有没有信息,如果不想sleep的话,可以使用blpop, 在没有信息的时候,会一直阻塞,直到信息的到来。redis可以通过pub/sub主题订阅模式实现一个生产者,多个消费者,当然也存在一定的缺点,当消费者下线时,生产的消息会丢失。

Redis如何实现延时队列

   使用sortedset,使用时间戳做score, 消息内容作为key,调用zadd来生产消息,消费者使用zrangbyscore获取n秒之前的数据做轮询处理。

4.1.1. 分布库管理系统有哪些主要功能模块及其作用. 24 4.1.2. 半连接方法和枚举法各适用于何种查询优化情况. 25 4.1.3. 分布式事务有哪些基本性质. 25 4.1.4. 什么是2PL协议 25 4.2. 下面是某个公司的人事关系数据库的全局模式: 25 4.2.1. 将全局模式进行分片,写出分片定义和分片条件。 26 4.2.2. 指出分片的类型,并画出分片树。 26 4.3. 对题4.2所确定的分片模式,要求查询级别高于“6”的所有职员的姓名和工资,写出的在全局模式上的SQL查询语句,并要求转换成相应的关系代数表示,画出全局查询树。 26 4.3.1. 进行全局优化,画出各步优化后的全局查询树。 26 4.3.2. 进行分片优化,画出各步优化后的分片查询树。 27 4.4. 下面是一个数据库系统出现故障是,日志文件中记录的信息; 27 4.4.1. 找出发生故障时系统中的活动事务,确定出反做和重做事务集。 27 4.4.2. 用C或其他语言定义出数据库记录(D记录)和检查点记录(K记录)的数据结构。 28 4.5. 设数据项x,y存放在S1场地,u,v存放在S2场地,有分布式事务T1和T2,T1在S1场地的操作为R1(x)W1(x)R1(y)W1(y),T2在S1场地的操作为R2(x)R2(y)W2(y);T1在S2场地上的操作作为R1(u)R1(v)W1(u),T2在S2场地上的操作作为W2(u)R2(v)W2(v)。对下述2种情况,各举一种可能的局部历程(H1和H2),并说明理由 28 4.5.1. 局部分别是可串行化,而全局是不可串行化的 28 4.5.2. 局部和全局都是可串行化的。 28
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值