redis学习笔记一

2019独角兽企业重金招聘Python工程师标准>>>

redis学习笔记一

简单动态字符串

Sds 在 Redis 中的主要作用有以下两个：

1. 实现字符串对象（StringObject）；
2. 在 Redis 程序内部用作 char* 类型的替代品；

“包含字符串值的字符串对象”，这种说法初听上去可能会有点奇怪， 但是在 Redis 中， 一个字符串对象除了可以保存字符串值之外， 还可以保存 long 类型的值， 所以为了严谨起见， 这里需要强调一下： 当字符串对象保存的是字符串时， 它包含的才是 sds 值， 否则的话， 它就是一个 long 类型的值。

 

 

在 Redis 中， 客户端传入服务器的协议内容、 aof 缓存、 返回给客户端的回复， 等等， 这些重要的内容都是由 sds 类型来保存的。

typedef char *sds;

struct sdshdr {

    // buf 已占用长度

    int len;

    // buf 剩余可用长度

    int free;

    // 实际保存字符串数据的地方

    char buf[];

};

注意， 当调用 SET 命令创建 sdshdr 时， sdshdr 的 free 属性为 0 ， Redis 也没有为 buf 创建额外的空间 —— 而在执行 APPEND 之后， Redis 为 buf 创建了多于所需空间一倍的大小。

sds.c/sdsMakeRoomFor 函数描述了 sdshdr 的这种内存预分配优化策略， 以下是这个函数的伪代码版本：

def sdsMakeRoomFor(sdshdr, required_len):

    # 预分配空间足够，无须再进行空间分配

    if (sdshdr.free >= required_len):

        return sdshdr

    # 计算新字符串的总长度

    newlen = sdshdr.len + required_len

    # 如果新字符串的总长度小于 SDS_MAX_PREALLOC

    # 那么为字符串分配 2 倍于所需长度的空间

    # 否则就分配所需长度加上 SDS_MAX_PREALLOC 数量的空间

    if newlen < SDS_MAX_PREALLOC:

        newlen *= 2

    else:

        newlen += SDS_MAX_PREALLOC

    # 分配内存

    newsh = zrelloc(sdshdr, sizeof(struct sdshdr)+newlen+1)

    # 更新 free 属性

    newsh.free = newlen - sdshdr.len

    # 返回

    return newsh

Redis 列表使用两种数据结构作为底层实现：

1. 双端链表
2. 压缩列表

因为双端链表占用的内存比压缩列表要多， 所以当创建新的列表键时， 列表会优先考虑使用压缩列表作为底层实现， 并且在有需要的时候， 才从压缩列表实现转换到双端链表实现。

 

其中， listNode 是双端链表的节点：

typedef struct listNode {

    // 前驱节点

    struct listNode *prev;

    // 后继节点

    struct listNode *next;

    // 值

    void *value;

} listNode;

而 list 则是双端链表本身：

typedef struct list {

    // 表头指针

    listNode *head;

    // 表尾指针

    listNode *tail;

    // 节点数量

    unsigned long len;

    // 复制函数

    void *(*dup)(void *ptr);

    // 释放函数

    void (*free)(void *ptr);

    // 比对函数

    int (*match)(void *ptr, void *key);

} list;

·  Redis 实现了自己的双端链表结构。

·  双端链表主要有两个作用：

• 作为 Redis 列表类型的底层实现之一；
• 作为通用数据结构，被其他功能模块所使用；

·  双端链表及其节点的性能特性如下：

• 节点带有前驱和后继指针，访问前驱节点和后继节点的复杂度为 O(1)

·  ，并且对链表的迭代可以在从表头到表尾和从表尾到表头两个方向进行；

·  链表带有指向表头和表尾的指针，因此对表头和表尾进行处理的复杂度为 O(1)

·  链表带有记录节点数量的属性，所以可以在 O(1) 复杂度内返回链表的节点数量（长度）；

 

一、常用数据类型简介：

      redis常用五种数据类型:string,hash,list,set,zset(sorted set).

1.String类型

String是最简单的类型，一个key对应一个value

String类型的数据最大1G。
String类型的值可以被视作integer，从而可以让“INCR”命令族操作(incrby、decr、decrby),这种情况下，该integer的值限制在64位有符号数。

在list、set和zset中包含的独立的元素类型都是Redis String类型。

2.List类型

链表类型，主要功能是push、pop、获取一个范围的所有值等。其中的key可以理解为链表的名字。

在Redis中，list就是Redis String的列表，按照插入顺序排序。比如使用LPUSH命令在list头插入一个元素，使用RPUSH命令在list的尾插入一个元素。当这两个命令之一作用于一个空的key时，一个新的list就创建出来了。

List的最大长度是2^32-1个元素。（2^32 = 4 294 967 296） 42亿啊

3.Set类型

集合，和数学中的集合概念相似。操作中的key理解为集合的名字。

在Redis中，set就是Redis String的无序集合，不允许有重复元素。

Set的最大元素数是2^32-1。（2^32 = 4 294 967 296） 42亿啊

Redis中对set的操作还有交集、并集、差集等。

4.ZSet(Sorted Set)类型

Zset是set的一个升级版本，在set的基础上增加了一个顺序属性，这一属性在添加修改元素时可以指定，每次指定后zset会自动安装指定值重新调整顺序。可以理解为一张表，一列存value，一列存顺序。操作中的key理解为zset的名字。

Zset的最大元素数是2^32-1。（2^32 = 4 294 967 296） 42亿啊

对于已经有序的zset，仍然可以使用SORT命令，通过指定ASC|DESC参数对其进行排序。

5.hash类型

hash是最接近关系数据库结构的数据类型，可以将数据库一条记录或程序中一个对象转换成hashmap存放在redis中。

二、jedis操作命令：

1.对value操作的命令

     exists(key)：确认一个key是否存在

     del(key)：删除一个key

     type(key)：返回值的类型

     keys(pattern)：返回满足给定pattern的所有key

     randomkey：随机返回key空间的一个key

     rename(oldname, newname)：将key由oldname重命名为newname，若newname存在则删除newname表示的key

     dbsize：返回当前数据库中key的数目

     expire：设定一个key的活动时间（s）

     ttl：获得一个key的活动时间

     select(index)：按索引查询

     move(key, dbindex)：将当前数据库中的key转移到有dbindex索引的数据库

     flushdb：删除当前选择数据库中的所有key

     flushall：删除所有数据库中的所有key

2.对String操作的命令

     set(key, value)：给数据库中名称为key的string赋予值value

     get(key)：返回数据库中名称为key的string的value

     getset(key, value)：给名称为key的string赋予上一次的value

     mget(key1, key2,…, key N)：返回库中多个string（它们的名称为key1，key2…）的value

     setnx(key, value)：如果不存在名称为key的string，则向库中添加string，名称为key，值为value

     setex(key, time, value)：向库中添加string（名称为key，值为value）同时，设定过期时间time

     mset(key1, value1, key2, value2,…key N, value N)：同时给多个string赋值，名称为key i的string赋值value i

     msetnx(key1, value1, key2, value2,…key N, value N)：如果所有名称为key i的string都不存在，则向库中添加string，名称           key i赋值为value i

     incr(key)：名称为key的string增1操作

     incrby(key, integer)：名称为key的string增加integer

     decr(key)：名称为key的string减1操作

     decrby(key, integer)：名称为key的string减少integer

     append(key, value)：名称为key的string的值附加value

     substr(key, start, end)：返回名称为key的string的value的子串

3.对List操作的命令

     rpush(key, value)：在名称为key的list尾添加一个值为value的元素

     lpush(key, value)：在名称为key的list头添加一个值为value的 元素

     llen(key)：返回名称为key的list的长度

     lrange(key, start, end)：返回名称为key的list中start至end之间的元素（下标从0开始，下同）

     ltrim(key, start, end)：截取名称为key的list，保留start至end之间的元素

     lindex(key, index)：返回名称为key的list中index位置的元素

     lset(key, index, value)：给名称为key的list中index位置的元素赋值为value

     lrem(key, count, value)： 删除count个名称为key的list中值为value的元素。count为0，删除所有值为value的元素，count>0      从头至尾删除count个值为value的元素，count<0从尾到头删除|count|个值为value的元素。

     lpop(key)：返回并删除名称为key的list中的首元素

     rpop(key)：返回并删除名称为key的list中的尾元素

     blpop(key1, key2,… key N, timeout)：lpop 命令的block版本。即当timeout为0时，若遇到名称为key i的list不存在或该list为空，则命令结束。如果 timeout>0，则遇到上述情况时，等待timeout秒，如果问题没有解决，则对key i+1开始的list执行pop操作。

     brpop(key1, key2,… key N, timeout)：rpop的block版本。参考上一命令。

     rpoplpush(srckey, dstkey)：返回并删除名称为srckey的list的尾元素，并将该元素添加到名称为dstkey的list的头部

4.对Set操作的命令

     sadd(key, member)：向名称为key的set中添加元素member

     srem(key, member) ：删除名称为key的set中的元素member

     spop(key) ：随机返回并删除名称为key的set中一个元素

     smove(srckey, dstkey, member) ：将member元素从名称为srckey的集合移到名称为dstkey的集合

     scard(key) ：返回名称为key的set的基数

     sismember(key, member) ：测试member是否是名称为key的set的元素

     sinter(key1, key2,…key N) ：求交集

     sinterstore(dstkey, key1, key2,…key N) ：求交集并将交集保存到dstkey的集合

     sunion(key1, key2,…key N) ：求并集

     sunionstore(dstkey, key1, key2,…key N) ：求并集并将并集保存到dstkey的集合

     sdiff(key1, key2,…key N) ：求差集

     sdiffstore(dstkey, key1, key2,…key N) ：求差集并将差集保存到dstkey的集合

     smembers(key) ：返回名称为key的set的所有元素

     srandmember(key) ：随机返回名称为key的set的一个元素

5.对zset（sorted set）操作的命令

     zadd(key, score, member)：向名称为key的zset中添加元素member，score用于排序。如果该元素已经存在，则根据score更新该元素的顺序。

     zrem(key, member) ：删除名称为key的zset中的元素member

     zincrby(key, increment, member) ：如果在名称为key的zset中已经存在元素member，则该元素的score增加increment；否则向集合中添加该元素，其score的值为increment

     zrank(key, member) ：返回名称为key的zset（元素已按score从小到大排序）中member元素的rank（即index，从0开始），若没有member元素，返回“nil”

     zrevrank(key, member) ：返回名称为key的zset（元素已按score从大到小排序）中member元素的rank（即index，从0开始），若没有member元素，返回“nil”

     zrange(key, start, end)：返回名称为key的zset（元素已按score从小到大排序）中的index从start到end的所有元素

     zrevrange(key, start, end)：返回名称为key的zset（元素已按score从大到小排序）中的index从start到end的所有元素

     zrangebyscore(key, min, max)：返回名称为key的zset中score >= min且score <= max的所有元素

     zcard(key)：返回名称为key的zset的基数

     zscore(key, element)：返回名称为key的zset中元素element的score

     zremrangebyrank(key, min, max)：删除名称为key的zset中rank >= min且rank <= max的所有元素

     zremrangebyscore(key, min, max) ：删除名称为key的zset中score >= min且score <= max的所有元素

     zunionstore / zinterstore(dstkeyN, key1,…,keyN, WEIGHTS w1,…wN, AGGREGATE SUM|MIN|MAX)： 对N个zset求并集和交集，并将最后的集合保存在dstkeyN中。对于集合中每一个元素的score，在进行AGGREGATE运算前，都要乘以对于 的WEIGHT参数。如果没有提供WEIGHT，默认为1。默认的AGGREGATE是SUM，即结果集合中元素的score是所有集合对应元素进行 SUM运算的值，而MIN和MAX是指，结果集合中元素的score是所有集合对应元素中最小值和最大值。

6.对Hash操作的命令

     hset(key, field, value)：向名称为key的hash中添加元素field<—>value

     hget(key, field)：返回名称为key的hash中field对应的value

     hmget(key, field1, …,field N)：返回名称为key的hash中field i对应的value

     hmset(key, field1, value1,…,field N, value N)：向名称为key的hash中添加元素field i<—>value i

     hincrby(key, field, integer)：将名称为key的hash中field的value增加integer

     hexists(key, field)：名称为key的hash中是否存在键为field的域

     hdel(key, field)：删除名称为key的hash中键为field的域

     hlen(key)：返回名称为key的hash中元素个数

     hkeys(key)：返回名称为key的hash中所有键

     hvals(key)：返回名称为key的hash中所有键对应的value

     hgetall(key)：返回名称为key的hash中所有的键（field）及其对应的value

 

Redis Hmget 命令用于返回哈希表中，一个或多个给定字段的值。

如果指定的字段不存在于哈希表，那么返回一个 nil 值。

语法

redis Hmget 命令基本语法如下：

redis 127.0.0.1:6379> HMGET KEY_NAME FIELD1...FIELDN

可用版本

>= 2.0.0

返回值

一个包含多个给定字段关联值的表，表值的排列顺序和指定字段的请求顺序一样。

实例

redis 127.0.0.1:6379> HSET myhash field1 "foo"
(integer) 1
redis 127.0.0.1:6379> HSET myhash field2 "bar"
(integer) 1
redis 127.0.0.1:6379> HMGET myhash field1 field2 nofield
1) "foo"
2) "bar"
3) (nil)

三、各种数据类型所对应的应用场景

1.String类型的应用场景

   String是最常用的一种数据类型,普通的key/value存储.

2.list类型的应用场景

   比较适用于列表式存储且顺序相对比较固定，例如：

省份、城市列表

品牌、厂商、车系、车型等列表

拆车坊专题列表...

3.set类型的应用场景

   Set对外提供的功能与list类似,当需要存储一个列表数据,又不希望出现重复数据时,可选用set

4.zset(sorted set)类型的应用场景

zset的使用场景与set类似,区别是set不是自动有序的,而zset可以通过用户额外提供一个优先级(score)的参数来为成员排序,并且是插入有序的,即自动排序.当你需要一个有序的并且不重复的集合列表,那么可以选择zset数据结构。例如:

根据PV排序的热门车系车型列表

根据时间排序的新闻列表

5.hash类型的应用场景

类似于表记录的存储

页面视图所需数据的存储

 

 

redisObject数据结构

这说明，操作数据类型的命令除了要对键的类型进行检查之外， 还需要根据数据类型的不同编码进行多态处理。

为了解决以上问题， Redis 构建了自己的类型系统， 这个系统的主要功能包括：

• redisObject 对象。
• 基于 redisObject 对象的类型检查。
• 基于 redisObject 对象的显式多态函数。
• 对 redisObject 进行分配、共享和销毁的机制。

redisObject 是 Redis 类型系统的核心， 数据库中的每个键、值，以及 Redis 本身处理的参数， 都表示为这种数据类型。

redisObject 的定义位于 redis.h ：

/*
 * Redis 对象
 */
typedef struct redisObject {

    // 类型
    unsigned type:4;

    // 对齐位
    unsigned notused:2;

    // 编码方式
    unsigned encoding:4;

    // LRU 时间（相对于 server.lruclock）
    unsigned lru:22;

    // 引用计数
    int refcount;

    // 指向对象的值
    void *ptr;

} robj;

type 、 encoding 和 ptr 是最重要的三个属性。

type 记录了对象所保存的值的类型，它的值可能是以下常量的其中一个（定义位于 redis.h）：

/*
 * 对象类型
 */
#define REDIS_STRING 0  // 字符串
#define REDIS_LIST 1    // 列表
#define REDIS_SET 2     // 集合
#define REDIS_ZSET 3    // 有序集
#define REDIS_HASH 4    // 哈希表

encoding 记录了对象所保存的值的编码，它的值可能是以下常量的其中一个（定义位于 redis.h）：

/*
 * 对象编码
 */
#define REDIS_ENCODING_RAW 0            // 编码为字符串
#define REDIS_ENCODING_INT 1            // 编码为整数
#define REDIS_ENCODING_HT 2             // 编码为哈希表
#define REDIS_ENCODING_ZIPMAP 3         // 编码为 zipmap
#define REDIS_ENCODING_LINKEDLIST 4     // 编码为双端链表
#define REDIS_ENCODING_ZIPLIST 5        // 编码为压缩列表
#define REDIS_ENCODING_INTSET 6         // 编码为整数集合
#define REDIS_ENCODING_SKIPLIST 7       // 编码为跳跃表

ptr 是一个指针，指向实际保存值的数据结构，这个数据结构由 type 属性和 encoding 属性决定。

举个例子，如果一个 redisObject 的 type 属性为 REDIS_LIST ， encoding 属性为 REDIS_ENCODING_LINKEDLIST ，那么这个对象就是一个 Redis 列表，它的值保存在一个双端链表内，而 ptr 指针就指向这个双端链表；

另一方面，如果一个 redisObject 的 type 属性为 REDIS_HASH ， encoding 属性为 REDIS_ENCODING_ZIPMAP ，那么这个对象就是一个 Redis 哈希表，它的值保存在一个 zipmap 里，而 ptr 指针就指向这个 zipmap ；诸如此类。

下图展示了 redisObject 、Redis 所有数据类型、以及 Redis 所有编码方式（底层实现）三者之间的关系：

这个图展示了 Redis 各种数据类型，以及它们的编码方式。

 

当将 redisObject 用作数据库的键或者值， 而不是用来储存参数时， 对象的生命期是非常长的， 因为 C 语言本身没有自动释放内存的相关机制， 如果只依靠程序员的记忆来对对象进行追踪和销毁， 基本是不太可能的。

另一方面，正如前面提到的，一个共享对象可能被多个数据结构所引用， 这时像是“这个对象被引用了多少次？”之类的问题就会出现。

为了解决以上两个问题， Redis 的对象系统使用了引用计数技术来负责维持和销毁对象， 它的运作机制如下：

• 每个 redisObject 结构都带有一个 refcount 属性，指示这个对象被引用了多少次。
• 当新创建一个对象时，它的 refcount 属性被设置为 1 。
• 当对一个对象进行共享时，Redis 将这个对象的 refcount 增一。
• 当使用完一个对象之后，或者取消对共享对象的引用之后，程序将对象的 refcount 减一。
• 当对象的 refcount 降至 0 时，这个 redisObject 结构，以及它所引用的数据结构的内存，都会被释放。

 

 

Redis_String

REDIS_STRING （字符串）是 Redis 使用得最为广泛的数据类型， 它除了是 SET 、 GET 等命令的操作对象之外， 数据库中的所有键， 以及执行命令时提供给 Redis 的参数， 都是用这种类型保存的。

字符串编码，字符串命令的实现

REDIS_HASH （哈希表）是 HSET 、 HLEN 等命令的操作对象， 它使用 REDIS_ENCODING_ZIPLIST 和 REDIS_ENCODING_HT 两种编码方式：

当哈希表使用字典编码时， 程序将哈希表的键（key）保存为字典的键， 将哈希表的值（value）保存为字典的值。

 

哈希表所使用的字典的键和值都是字符串对象。

下图展示了一个包含三个键值对的哈希表：

 

当使用 REDIS_ENCODING_ZIPLIST 编码哈希表时， 程序通过将键和值一同推入压缩列表， 从而形成保存哈希表所需的键-值对结构：

+---------+------+------+------+------+------+------+------+------+---------+
| ZIPLIST |      |      |      |      |      |      |      |      | ZIPLIST |
| ENTRY   | key1 | val1 | key2 | val2 | ...  | ...  | keyN | valN | ENTRY   |
| HEAD    |      |      |      |      |      |      |      |      | END     |
+---------+------+------+------+------+------+------+------+------+---------+

新添加的 key-value 对会被添加到压缩列表的表尾。

当进行查找/删除或更新操作时，程序先定位到键的位置，然后再通过对键的位置来定位值的位置。

 

 

 

编码的选择

创建空白哈希表时， 程序默认使用 REDIS_ENCODING_ZIPLIST 编码， 当以下任何一个条件被满足时， 程序将编码从 REDIS_ENCODING_ZIPLIST 切换为 REDIS_ENCODING_HT ：

• 哈希表中某个键或某个值的长度大于 server.hash_max_ziplist_value （默认值为 64 ）。
• 压缩列表中的节点数量大于 server.hash_max_ziplist_entries （默认值为 512 ）。

 

 

REDIS_LIST （列表）是 LPUSH 、 LRANGE 等命令的操作对象， 它使用 REDIS_ENCODING_ZIPLIST 和 REDIS_ENCODING_LINKEDLIST 这两种方式编码：

编码的选择

创建新列表时 Redis 默认使用 REDIS_ENCODING_ZIPLIST 编码， 当以下任意一个条件被满足时， 列表会被转换成 REDIS_ENCODING_LINKEDLIST 编码：

• 试图往列表新添加一个字符串值，且这个字符串的长度超过 server.list_max_ziplist_value （默认值为 64 ）。
• ziplist 包含的节点超过 server.list_max_ziplist_entries （默认值为 512 ）。

 

 

REDIS_ZSET （有序集）是 ZADD 、 ZCOUNT 等命令的操作对象， 它使用 REDIS_ENCODING_ZIPLIST 和 REDIS_ENCODING_SKIPLIST 两种方式编码：

编码的选择

在通过 ZADD 命令添加第一个元素到空 key 时， 程序通过检查输入的第一个元素来决定该创建什么编码的有序集。

如果第一个元素符合以下条件的话， 就创建一个 REDIS_ENCODING_ZIPLIST 编码的有序集：

• 服务器属性 server.zset_max_ziplist_entries 的值大于 0 （默认为 128 ）。
• 元素的 member 长度小于服务器属性 server.zset_max_ziplist_value 的值（默认为 64 ）。

否则，程序就创建一个 REDIS_ENCODING_SKIPLIST 编码的有序集。

编码的转化

对于一个 REDIS_ENCODING_ZIPLIST 编码的有序集， 只要满足以下任一条件， 就将它转换为 REDIS_ENCODING_SKIPLIST 编码

 

SKIPLIST 编码的有序集

当使用 REDIS_ENCODING_SKIPLIST 编码时， 有序集元素由 redis.h/zset 结构来保存：

/*
 * 有序集
 */
typedef struct zset {

    // 字典
    dict *dict;

    // 跳跃表
    zskiplist *zsl;

} zset;

zset 同时使用字典和跳跃表两个数据结构来保存有序集元素。

其中， 元素的成员由一个 redisObject 结构表示， 而元素的 score 则是一个 double 类型的浮点数， 字典和跳跃表两个结构通过将指针共同指向这两个值来节约空间 （不用每个元素都复制两份）。

下图展示了一个 REDIS_ENCODING_SKIPLIST 编码的有序集：

 

 

 

 

 

转载于:https://my.oschina.net/iioschina/blog/743093