本章将带领读者进入 Redis 的世界,了解它的前世今生、众多特性、典型应用场景、安装配置、
如何用好等,最后会对 Redis 发展过程中的重要版本进行说明,本章主要内容如下:
• 盛赞 Redis
• Redis 特性
• Redis 使用场景
• 用好 Redis 的建议
• 正确安装启动 Redis
• Redis 重大版本
1.1盛赞Redis
Redis 是一种基于键值对(key-value)的 NoSQL 数据库,与很多键值对数据库不同的是,Redis中的值可以是由 string(字符串)、hash(哈希)、list(列表)、set(集合)、zset(有序集合)、Bitmaps(位图)、HyperLogLog、GEO(地理信息定位)等多种数据结构和算法组成,因此 Redis可以满足很多的应用场景,而且因为 Redis 会将所有数据都存放再内存中,所以它的读写性能非常惊人。不仅如此,Redis 还可以将内存的数据利用快照和日志的形式保存到硬盘上,这样在发生类似断电或者机器故障的时候,内存中的数据不会“丢失”。除了上述功能以外,Redis 还提供了键过期、发布订阅、事务、流水线、Lua 脚本等附加功能。总之,如果在合适的场景使用号 Redis,它就会像一把瑞士军刀一样所向披靡。
2008年,Redis的作者Salvatore Sanfiloppo 在开发一个叫做LLOGG的网站时,需要一个高性能的队列功能,最开始是使用MySQL来实现的,但后来发现无论怎么优化SQL语句等都不能使网站的性能提高上去,再加上自己囊中羞涩,于是他决定自己做一个专属于LLOOGG的数据库,这个就是Redis的前身。后来,Salvatore Sanfilippo将Redis 1.0的源码发布到Github上,可能他自己都没有想到,Redis后来如此受欢迎。
假如现在有人问 Redis 的作者都有谁在使用 Redis,我想他可以开句玩笑的回答:还有谁不使用Redis,当然这只是开玩笑,但是从 Redis 的官方公司统计来看,有很多重量级的公司都在使用
Redis,如国外的 Twitter、Instagram、Stack Overflow、Github 等,国内就更多了,如果单单从体量来统计,新浪微博可以说是全球最大的 Redis 使用者,除了新浪微博,还有像阿里巴巴、腾讯、搜狐、优酷土豆、美团、小米、唯品会等公司都是 Redis 的使用者。除此之外,许多开源技术像 ELK 等已经把 Redis 作为它们组件中的重要一环,而且 Redis 还提供了模块系统让第三方人员实现功能扩展,让 Redis 发挥出更大的威力。所以,可以这么说,熟练使用和运维 Redis 已经成为开发运维人员的一个必备技能。
1.2 Redis特性
Redis之所以受到如此多公司的青睐,必然有过人之处(过软件),下面是Redis的8个重要特性。
1.速度快
正常情况下,Redis执行命令的速度是非常快,官方给出的数字是读写性能可以达到 10 万 / 秒,当然这也取决于机器的性能,但这里先不讨论机器性能上的差异,只分析一下是什么造就了 Redis 如此之快,可以大概归纳为以下四点:
• Redis 的所有数据都是存放在内存中的,表 1-1 是谷歌公司 2009 年给出的各层级硬件执行速度,所以把数据放在内存中是 Redis 速度快的最主要原因。
• Redis 是用 C 语言实现的,一般来说 C 语言实现的程序 “距离” 操作系统更近,执行速度相对会
更快。
• Redis 使用了单线程,预防了多线程可能产生的竞争问题。
Redis 在 6.0 版本引入了多线程机制,但主要也是在处理网络和 IO,不涉及到数据命令,即命令的执行仍然采用了单线程模式。
• 作者对于 Redis 源代码可以说是精打细磨,曾经有人评价 Redis 是少有的集性能和优雅于一身的开源代码。
谷歌公司给出的各层级硬件执行速度
层级 |
速度 |
L1 cache reference |
0.5 ns |
Branch mispredict |
5 ns |
L2 cache reference |
7 ns |
Mutex lock/unlock |
25 ns |
Main memory reference |
100 ns |
Compress 1 K bytes with Zippy |
3 000 ns |
Send 2 K bytes over 1 Gbps network |
20 000 ns |
Read 1 MB sequentially from Memory |
250 000 ns |
Round trip within same datacenter |
500 000 ns |
Disk seek |
10 000 000 ns |
Read 1 MB sequentially from disk |
20 000 000 ns |
Send packet CA -> Netherlands -> CA |
150 000 000 ns |
2.基于键值对的数据结构服务器
几乎所有的编程语言都提供了类似字典的功能,例如 C++ 里的 map、Java 里的 map、Python 里
的 dict 等,类似于这种组织数据的方式叫做基于键值对的方式,与很多键值对数据库不同的是,
Redis 中的值不仅可以是字符串,而且还可以是具体的数据结构,这样不仅能便于在许多应用场景的开发,同时也能提高开发效率。Redis 的全程是 REmote Dictionary Server,它主要提供了 5 种数据结构:字符串(string)、哈希(hash)、列表(list)、集合(set)、有序集合(ordered set /zet),同时在字符串的基础之上演变出了位图(Bitmaps)和 HyperLogLog 两种神奇的 ”数据结构“,并且随着 LBS(Location Based Service,基于位置服务)的不断发展,Redis 3.2. 版本种加入有关 GEO(地理信息定位)的功能,总之在这些数据结构的帮助下,开发者可以开发出各种 “有意思” 的应用。
3.丰富的功能
除了 5 种数据结构,Redis 还提供了许多额外的功能:
• 提供了键过期功能,可以用来实现缓存。
• 提供了发布订阅功能,可以用来实现消息系统。
• 支持 Lua 脚本功能,可以利用 Lua 创造出新的 Redis 命令。
• 提供了简单的事务功能,能在一定程度上保证事务特性。
• 提供了流水线(Pipeline)功能,这样客户端能将一批命令一次性传到 Redis,减少了网络的开
销。
4.简单稳定
Redis的简单主要表现在三个方面。首先Redis的源码很少,早期版本的代码只有 2 万行左右,3.0 版本以后由于添加了集群特性,代码增至 5 万行左右,相对于很多 NoSQL 数据库来说代码量相对要少很多,也就意味着普通的开发和运维人员完全可以 “吃透” 它。其次,Redis 使用单线程模型,这样不仅使得 Redis 服务端处理模型变得简单,而且也使得客户端开发变得简单。最后,Redis 不需要依赖于操作系统中的类库(例如 Memcache 需要依赖 libevent 这样的系统类库),Redis 自己实现了事件处理的相关功能。
但与简单相对的是 Redis 具备相当的稳定性,在大量使用过程中,很少出现因为 Redis 自身 BUG
而导致宕掉的情况。
5.客户端语言多
Redis 提供了简单的 TCP 通信协议,很多编程语言可以很方便地接入到 Redis,并且由于Redis 受到社区和各大公司的广泛认可,所以支持 Redis 的客户端语言也非常多,几乎涵盖了主流的编程语言,例如 C、C++、Java、PHP、Python、NodeJS 等,后续我们会对 Redis 的客户端使用做详细说明。
6.持久化(Persistence)
通常看,将数据放在内存中是不安全的,一旦发生断电或者机器故障,重要的数据可能就会丢失,因此 Redis 提供了两种持久化方式:RDB 和 AOF,即可以用两种策略将内存的数据保存到硬盘中,这样就保证了数据的可持久性,后续我们将对 Redis 的持久化进行详细说明。
Redis 内存到硬盘的持久化
7.主从复制(Replication)
Redis 提供了复制功能,实现了多个相同数据的 Redis 副本(Replica),复制功能是分布式Redis 的基础。后续我们会对 Redis 的复制功能进行详细演示。
Redis 主从复制架构
8.高可用(High Availability)和分布式(Distributed)
Redis 提供了高可用实现的 Redis 哨兵(Redis Sentinel),能够保证 Redis 结点的故障发现和故障自动转移。也提供了 Redis 集群(Redis Cluster),是真正的分布式实现,提供了高可用、读写和容量的扩展性。
Redis使用场景
Redis可以做什么?
1.缓存(Cache)
缓存机制几乎在所有大型网站都有使用,合理地使用缓存不仅可以加速数据的访问速度,而且能够有效地降低后端数据源的压力。Redis 提供了键值过期时间设置,并且也提供了灵活控制最大内存和内存溢出后的淘汰策略。可以这么说,一个合理的缓存设计能够为一个网站的稳定保驾护航。
2.排行榜系统
排行榜系统几乎存在于所有的网站,例如按照热度排名的排行榜,按照发布时间的排行榜,按照各种复杂维度计算出的排行榜,Redis 提供了列表和有序集合的结构,合理地使用这些数据结构可以很方便地构建各种排行榜系统。
3.计数器应用
计数器在网站中的作用至关重要,例如视频网站有播放数、电商网站有浏览数,为了保证数据的实时性,每一次播放和浏览都要做加 1 的操作,如果并发量很大对于传统关系型数据的性能是一种挑战。Redis 天然支持计数功能而且计数的性能也非常好,可以说是计数器系统的重要选择。
4.社交网络
赞 / 踩、粉丝、共同好友 / 喜好、推送、下拉刷新等是社交网站的必备功能,由于社交网站访问量通常比较大,而且传统的关系型数据不太合适保存这种类型的数据,Redis 提供的数据结构可以相对比较容易地实现这些功能。
5.消息队列系统
消息队列系统可以说是一个大型网站的必备基础组件,因为其具有业务解耦、非实时业务削峰等特性。Redis 提供了发布订阅功能和阻塞队列的功能,虽然和专业的消息队列比还不够足够强大,但是对于一般的消息队列功能基本可以满足。
Redis不可以做什么?
实际上和任何一门技术一样,每个技术都有自己的应用场景和边界,也就是说 Redis 并不是万金油,有很多合适它解决的问题,但是也有很多不合适它解决的问题。我们可以站在数据规模和数据冷热的角度来进行分析。
站在数据规模的角度看,数据可以分为大规模数据和小规模数据,我们知道 Redis 的数据是存放在内存中的,虽然现在内存已经足够便宜,但是如果数据量非常大,例如每天有几亿的用户行为数据,使用 Redis 来存储的话,基本上是个无底洞,经济成本相当高。
站在数据冷热的角度,数据分为热数据和冷数据,热数据通常是指需要频繁操作的数据,反之为冷数据,例如对于视频网站来说,视频基本信息基本上在各个业务线都是经常要操作的数据,而用户的观看记录不一定是经常需要访问的数据,这里暂且不讨论两者数据规模的差异,单纯站在数据冷热的角度上看,视频信息属于热数据,用户观看记录属于冷数据。如果将这些冷数据放在 Redis上,基本上是对于内存的一种浪费,但是对于一些热数据可以放在 Redis 中加速读写,也可以减轻后端存储的负载,可以说是事半功倍。
所以,Redis 并不是万金油,相信随着我们对 Redis 的逐步学习,能够清楚 Redis 真正的使用场景。
Redis重大版本
Redis借鉴了Linux操作系统对于版本号的命名规则:版本号第二位如果是奇数,则为非稳定版本(例如 2.7、2.9、3.1),如果是偶数,则为稳定版本(例如 2.6、2.8、3.0、3.2)。当前奇数版本就是下一个稳定版本的开发版本,例如 2.9 版本是 3.0 版本的开发版本。所以我们生产环境通常选取偶数版本的 Redis,如果对于某些新的特性想提前了解和使用,可以选择最新的奇数版本。目前最新的版本是 7 版本。
Redis 的官方并不支持微软的 Windows 操作系统,因为 Redis 的许多特性都是和操作系统相关的,所以支持 Windows 会增加维护成本,而且更重要的是大部分公司都在使用 Linux 操作
系统,而 Redis 在 Linux 操作系统上的表现已经得到实践的证明。当然 Redis 作为一款优秀
的开源技术,还是吸引到微软公司的注意,微软公司的开源技术组在 Github 上维护了一个Redis 分支:https://github.com/MSOpenTech/redis。不过我们还是强烈建议大家在 Linux上使用 Redis。
Redis重要文件及作用
redis-server 是 Redis 服务器程序,其余的几个例如:redis-check-aof、redis-check-rdb、redissentinel也都是 redis-server 的软链接。redis-check-aof 是修复 AOF 文件用的工具,同理 redischeck-rdb 是修复 RDB 文件的工具,redis-sentinel 是 Redis 哨兵程序。
redis-cli 是在我们学习阶段需要频繁用到的一个命令行客户端程序,随后做介绍。
redis-benchmark 用于对 Redis 做性能基准测试的工具。
这里是笔者使用tab补全提示的命令。
相比于直接使用这些命令,更建议使用systemd托管的方式来进行Redis的启动/停止。
这里是配置。可以看到配置了,start和stop。
配置文件:
/etc/redis.conf 是 Redis 服务器的配置文件。/etc/redis-sentinel.conf 是 Redis Sentinel 的配置文件。
笔者这里只有redis.conf。 因为笔者还没有创建另一个。
持久化文件存储目录
是这个/var/lib/redis。其他的日志目录,一个是配置目录。一个是源码目录。
Redis 持久化生产的 RDB 和 AOF 文件都默认生成于该目录下。后边章节我们讲到持久化时会观察这边持久化的一些现象。
日志文件目录:
这里能看到/var/log/redis/ 目录
/var/log/redis/ 目录下会保存 Redis 运行期间生产的日志文件,默认按照天进行分割,并且会将一定日期的日子文件使用 gzip 格式压缩保存。可以使用任意文本编辑器打开,后边章节我们会通过日志来观察一些现象。
Redis命令行客户端
现在我们已经启动了 Redis 服务,下面将介绍如何使用 redis-cli 连接、操作 Redis 服务。客户端和服务端的交互过程如图 所示。
Redis客户端与服务端的交互过程
redis-cli 可以使用两种方式连接 Redis 服务器。
第一种是交互式方式:通过 redis-cli -h { host } -p { port } 的方式连接到 Redis 服务,后续所有的操作都是通过交互式的方式实现,不需要再执行 redis-cli 了,例如:
第二种是命令方式:用redis-cli -h { host } -p { port } { command } 就可以直接得到命令的返回结果,例如:
这里有两点要注意:
1)由于我们连接的 Redis 服务位于 127.0.0.1,端口也使用的是默认的 6379端口,所以可以省略 -h { host } -p { port }。
2)Redis 是学习 Redis 的重要工具,后续都是用它来做讲解。
本文重点回顾:
1. Redis 的 8 个特性:速度快、基于键值对的数据结果服务器、功能丰富、简单稳定、客户端语言多、持久化、主从复制、支持高可用和分布式。
2. Redis 并不是万金油,有些场景不适合使用 Redis 进行开发。
3. 开发运维结合以及阅读源码是用好 Redis 的重要方法。
4. 安装启动 Redis。
5. 根据需求选择稳定版本的 Redis。