Redis与NoSQL数据库：高性能存储解决方案-优快云博客

本文链接：https://blog.youkuaiyun.com/lilbetter/article/details/124082450

NoSQL：用来解决性能问题而出现的技术

Redis（缓存数据库）：一种典型的NoSQL数据库

NoSQL的好处：1.减少CPU和IO的压力 2.直接通过内存进行读取 3.可以直接作为缓存使用，提高访问速度，减少IO的读操作。

1.NoSQL

1.1 NoSQL数据库概述

NoSQL（NoSQL = Not Only SQL），意即“不仅仅是SQL”，泛指非关系型的数据库。NoSQL不依赖业务逻辑方式存储，而以简单的key-value模式存储。因此大大的增加了数据库的扩展能力。

不遵循SQL标准
不支持事务的ACID
远超于SQL的性能

1.2 NoSQL适用场景

对数据高并发的读写
海量数据的读写
对数据的高可扩展性

1.3 NoSQL不适用场景

需要事务支持
基于SQL的结构化查询存储，处理复杂的关系
用不着SQL或用了SQL也不行的情况下，考虑使用NoSQL

1.4 常见的NoSQL数据库

Memcache
Redis
MondoDB

1.5 行式存储数据库（大数据时代）

1.5.1 行式数据库

1.5.2 列式数据库

使用NoSQL数据库的目的：打破了传统关系型数据库以业务逻辑为依据的存储模式，而针对不同数据结构类型改为以性能为最优先的存储方式。

2.Redis

2.1 Redis概述

Redis是一个开源的key-value存储系统。
和Memcached（内只能存放字符串）类似，它支持存储的 value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。
这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。
在此基础上，Redis支持各种不同方式的排序。
与memcached一样，为了保证效率，数据都是缓存在内存中。
区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件中。
并且在此基础上实现了master-slave（主从）同步。

2.1.1 Redis配合关系型数据库做高速缓存

高频次，热门访问的数据，降低数据库IO操作
分布式架构，做session共享

2.1.2 Redis多样的数据结构存储持久化数据

最新的N个数据 ----- 通过List实现按自然时间排序的数据
排行榜，Top N ----- 利用zset（有序集合）
时效性的数据，比如手机验证码 ----- Expire过期
计数器，秒杀 ----- 原子性，自增方法INCR、DECR
去除大量数据中的重复数据 ----- 利用set集合
构建队列 ----- 利用list集合
发布订阅消息系统 ----- pub / sub 模式

3.Redis安装

Redis基本是在Linux系统上进行安装。

默认安装目录： /usr/local/bin

查看默认安装目录：

redis-benchmark:性能测试工具

redis-check-aof:修复有问题的AOF文件，rdb和aof后面讲

redis-check-dump:修复有问题的dump.rdb文件

redis-sentinel:Redis集群使用

redis-server:Redis服务器启动命令

redis-cli:客户端，操作入口

Redis启动 ----- 推荐后台启动

4.Redis相关知识介绍

Redis数据库的端口号：6379

默认16个数据库，类似数组下标从0开始，默认使用0号库。

使用命令: 如：select 8

select <dbid>

统一密码管理，所有库同样密码。

dbsize ----- 查看当前数据库key的数量

flushdb ----- 清空当前库

flushall ----- 通杀全部库

Redis是单线程+多路IO复用技术。

多路复用是指使用一个线程来检查多个文件描述符( Socket )的就绪状态，比如调用select和poll函数，传入多个文件描述符，如果有一个文件描述符就绪，则返回，否则阻塞直到超时。得到就绪状态后进行真正的操作可以在同一个线程里执行，也可以启动线程执行（比如使用线程池)。

串行 vs 多线程+锁(memcached) vs 单线程+多路IO复用(Redis)

(与Memcache三点不同:支持多数据类型，支持持久化，单线程+多路IO复用)

Redis 和 Memcache比较：

1.Redis支持多数据类型，Memcache只支持单一数据类型（字符串类型）

2.Redis支持持久化和存储在内存中，而Memcache只支持存储在内存中，不支持持久化

3.Redis（单线程+多路IO复用），而Memcache（多线程+锁）

5.Redis五大常用数据类型

5.1 Redis 键（Key）

keys 查看当前库所有key （匹配：keys*1）

exists key 判断某个key是否存在

type key 查看你的key是什么类型

del key 删除指定的key数据

unlink key 根据value选择非阻塞删除

仅将keys从keyspace元数据中删除（内部并没有删，再慢慢删的过程中），真正的删除会在后续异步操作。

expire key 10 10秒钟：为给定的key设置过期时间

ttl key 查看还有多少秒过期，-1表示永不过期，-2表示已过期

select命令切换数据库

dbsize 查看当前数据库key的数量

flushdb 清空当前库

flushall 通杀全部库

5.2 Redis 字符串（String）

5.2.1 简介

String是Redis最基本的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value。

String类型是二进制安全的、意味着Redis的string可以包含任何数据。比如jpg图片或者序列化的对象。

String类型是Redis最基本的数据类型，一个Redis中字符串value最多可以是512M

5.2.2 常用命令

set <key><value> 添加键值对

*NX：当数据库中key不存在时，可以将key-value添加数据库

*XX：当数据库中key存在时，可以将key-value添加数据库，与NX参数互斥

*EX：key的超时秒数

*PX：key的超时毫秒数，与EX互斥

get <key>查询对应键值

append <key><value> 将给定的<value>追加到原值的末尾

strlen <key> 获得值的长度

setnx <key><value> 只有在key不存在时设置key的值

incr <key> 将key中存储的数字值增1 只能对数字值操作，如果为空，新增值为1

decr <key> 将key中储存的数字值减1 只能对数字值操作，如果为空，新增值为-1

incrby / decrby <key><步长> 将key中储存的数字值增减。自定义步长。

Redis 原子性：所谓原子性操作是指不会被线程调度机制打断的操作；

这种操作一旦开始，就会一直运行到结束，中间不会有任何切换到另一个线程

在单线程中，能够在单条指令中完成的操作都可以认为是“原子操作”，因为中断只能发生于指令之间。
在多线程中，不能被其它进程（线程）打断的操作就叫原子操作。

Redis单命令的原子性主要得益于Redis的单线程。

mset <key1><value1><key2><value2> .... 同时设置一个或多个key-value对

mget <key1><key2><key3> ..... 同时获取一个或多个value

msetnx <key1><value1><key2><value2> .... 同时设置一个或多个key-value对，当且仅当所有给定key都不存在。（原子性的有一个失败则全部失败）

getrange <key><起始位置><结束位置> 获得值的范围，类似java中的substring，前包，后包

setrange <key><起始位置><value> 用<value>覆写<key>所储存的字符串值，从<起始位置>开始（索引从0开始）

setex <key><过期时间><value> 设置键值的同时，设置过期时间，单位秒。

getset <key><value> 以新换旧，设置了新值同时获得旧值。

5.3 字符串数据结构

String 的数据结构为简单动态字符串(Simple Dynamic String，缩写SDS)。是可以修改的字符串，内部结构实现上类似于Java的 ArrayList，采用预分配冗余空间的方式来减少内存的频繁分配。

如图中所示，内部为当前字符串实际分配的空间capacity一般要高于实际字符串长度len。当字符串长度小于1M时，扩容都是加倍现有的空间，如果超过1M，扩容时一次只会多扩1M的空间。需要注意的是字符串最大长度为512M。

6.Redis 列表（List）

6.1 简介

单键多值

Redis列表是简单的字符串列表，按照插入顺序排序（里边的内容是有序的）。你可以添加一个元素到列表的头部(左边）或者尾部(右边)。

它的底层实际是个双向链表，对两端的操作性能很高，通过索引下标操作中间的节点性能会较差。

6.2 常用命令

lpush / rpush <key><value1><value2><value3> .... 从左边 / 右边插入一个或多个值

lpop / rpop <key> 从左边 / 右边吐出一个值（把值拿出来，取出来） 值在键在，值光键亡

rpoplpush <key1><key2> 从<key1>列表右边吐出一个值，插到<key2>列表左边

lrange <key><start><stop> 按照索引下标获得元素（从左到右）

lindex <key><index> 按照索引下标（从0开始）获得元素（从左到右）

llen <key> 获得列表长度

linsert <key> before/after <value><newvalue> 在<value>的前面/后面插入<newvalue>插入值

lrem <key><n><value> 从左边删除n个value（从左到右）

lset <key><index><value> 将列表key下标为index的值替换成value

6.3 数据结构

List的数据结构为快速链表 quickList。

首先在列表元素较少的情况下会使用一块连续的内存存储，这个结构是ziplist，也即是压缩列表。

它将所有的元素紧挨着一起存储，分配的是一块连续的内存。

当数据量比较多的时候才会改成quickList。

因为普通的链表需要的附加指针空间太大，会比较浪费空间。比如这个列表里存的只是int类型的数据，结构上还需要俩个额外的指针prev和next。

Redis将链表和ziplist结合起来组成了quicklist。也就是将多个ziplist使用双向指针串起来使用。这样既满足了快速的插入删除性能，又不会出现太大的空间冗余。

7.Redis 集合（Set）

7.1 简介

Set ------ 元素无重复，无序的

Redis set 对外提供的功能与list类似，是一个列表的功能，特殊之处在于set是可以自动排重的，当你需要存储一个列表数据，又不希望出现重复数据时，set是一个很好的选择，并且set提供了判断某个成员是否在一个set集合内的重要接口，这个也是list所不能提供的。

Redis的Set是string类型的无序集合。它底层其实是一个value为null的hash表，所以添加，删除，查找的复杂度都是O(1)。

一个算法，随着数据的增加，执行时间的长短，如果是O(1)，数据增加，查找数据的时间不变

7.2 常用命令

sadd<key><value1><value2>..... 将一个或多个member元素加入到集合key中，已经存在的member元素将被忽略

smembers<key> 取出该集合的所有值

sismember <key><value> 判断集合<key>是否为含有该<value>值，有1 没有0

scard<key> 返回该集合的元素个数

srem <key><value1><value2> ... 删除集合中的某个元素

spop <key> 随机从该集合中吐出一个值

srandmember <key><n> 随机从该集合中取出n个值。不会从集合中删除。

smove <source><destination>value 把集合中一个值从一个集合移动到另一个集合

sinter <key1><key2> 返回俩个集合的交集元素

sunion <key1><key2> 返回俩个集合的并集元素

sdiff <key1><key2> 返回俩个集合的差集元素（key1中有的，key2中没有的）

7.3 数据结构

Set数据结构是dict字典，字典是用哈希表实现的。

Java中 HashSet的内部实现，使用的是HashMap，只不过所有的value都指向同一个对象。

Redis的set结构也是一样，它的内部也使用hash结构，所有的value都指向同一个内部值。

8.Redis哈希（Hash）

8.1 简介

Redis hash是一个键值对集合。

Redis hash是一个string类型的 field 和 value 的映射表，hash特别适合用于存储对象。

类似于Java里面的Map<String,Object>

用户ID为查找的key，存储的value用户对象包含姓名，年龄，生日等信息，如果用普通的key/value结构来存储

主要有以下2种存储方式：

8.2 常用命令

hset <key><field><value> 给<key>集合中的 <field>键赋值<value>

hget <key1><field> 从<key1>集合<field>中取出 value

hmset <key1><field1><value1><field2><value2>... 批量设置hash的值

hexists <key1><field> 查看哈希表key中，给定域 field 是否存在。

hkeys <key> 列出该hash集合的所有field

hvals <key> 列出该hash集合的所有value

hincrby <key><field><increment> 为哈希表 key 中的域 field 的值加上增量 1 -1

hsetnx <key><field><value> 将哈希表 key 中的域 field 的值设置为 value，当且仅当域 field不存在

8.3 数据结构

Hash类型对应的数据结构是俩种：ziplist（压缩列表），hashtable（哈希表）。当field-value长度较短且个数较少时，使用ziplist，否则使用hashtable。

9.Redis 有序集合 Zset

9.1 简介

Redis有序集合 zset 与普通集合 set 非常相似，是一个没有重复元素的字符串集合。

不同之处是有序集合的每个成员都关联了一个评分( score ) ，这个评分 (score) 被用来按照从最低分到最高分的方式排序集合中的成员。集合的成员是唯一的，但是评分可以是重复的。

因为元素是有序的，所以你也可以很快的根据评分( score )或者次序( position )来获取一个范围的元素。

访问有序集合的中间元素也是非常快的，因此你能够使用有序集合作为一个没有重复成员的智能列表。

9.2 常用命令

zadd <key><score1><value1><score2><value2>... 将一个或多个member元素及其score值加入到有序集 key当中。

zrange <key><start><stop>[WITHSCORES] 返回有序集 key 中，下标在<start><stop>之间的元素

带WITHSCORES，可以让分数一起和值返回到结果集。

zrangebyscore key minmax [withscores] [limit offset count] 返回有序集 key中，所有score值介于min和max 之间(包括等于min或max )的成员。有序集成员按score值递增(从小到大)次序排列。

zrevrangebyscore key maxmin [withscores] [limit offset count] 同上，改为从大到小排列

zincrby <key><increment><value> 为元素的score加上增量 increment：增量

zrem <key><value> 删除该集合下，指定值的元素
zcount <key><min><max> 统计该集合，分数区间内的元素个数

zrank <key><value> 返回该值在集合中的排名，从0开始

9.3 数据结构

SortedSet(zset)是Redis提供的一个非常特别的数据结构，一方面它等价于Java的数据结构Map<String,Double>，可以给每一个元素value赋予一个权重score，另一方面它又类似于TreeSet，内部的元素会按照权重score进行排序，可以得到每个元素的名次，还可以通过score的范围来获取元素的列表。

zset 底层使用了两个数据结构
（1） hash，hash的作用就是关联元素value和权重score，保障元素value的唯一性，可以通过元素value找到相应的score值。

（2）跳跃表，跳跃表的目的在于给元素value排序，根据score的范围获取元素列表。