Redis （复习，上课笔记）

Redis

Redis是一款开源的、高性能的键-值存储（key-value store）。它常被称作是一款数据结构服务器（data structure server）。Redis的键值可以包括字符串（strings）类型，同时它还包括哈希（hashes）、列表（lists）、集合（sets）和 有序集合（sorted sets）等数据类型。 对于这些数据类型，你可以执行原子操作。

为了获得优异的性能，Redis采用了内存中（in-memory）数据集（dataset）的方式。同时，Redis支持数据的持久化，你可以每隔一段时间将数据集转存到磁盘上（snapshot），或者在日志尾部追加每一条操作命令（append only file,aof）。

1. redis特点

   • 与memcached比较

   Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储；

   Redis支持数据的主从复制，即master-slave模式的数据备份；

   Redis支持数据的持久化，可以将内存中的数据保存到磁盘中，重启的时候可以再次加载原有数据；

   Redis单个value的最大限制是1GB， memcached只能保存1MB的数据。

   •速度快

   Redis使用C编写，而且将所有数据加载到内存中，所以速度非常快。

   •数据结构

   可以将Redis看做“数据结构服务器”。目前，Redis支持5种数据结构。

   •持久化

   支持数据持久化存储。

   •主-从复制

   Redis支持简单而快速的主-从复制。

   •支持过期时间

   支持缓存过期自动失效。

   •支持事务操作

   允许让一组命令进入队列一次性执行，在执行的过程中不穿插其它命令。

   •PUB/SUB

   支持发布订阅。

   •Redis不足

   支持事务，将多个命令打包执行，但是任一命令有语法错误或key-value数据类型错误照常运行；

   数据结构不支持嵌套其他数据结构，比如类型为list的value不能再嵌套一个list。

   单线程模型处理所客户请求的命令。对高并发支持不是很好

   主从做冗余备份时，主机迭机后，不能从多个从机中自动选举出主机

2. 启动redis

   •启动服务redis-server redis.conf

   •测试服务安装，运行客户端：redis-cli

•启动流程

•命令处理流程

3. 数据类型及其各种操作

•Key

–非二进制安全的字符类型（ not binary-safe strings ）

–redis本质上一个key-value 数据库，首先key也是字符串类型，由于key不是binary safe的字符串，所以像“my key”和“mykey\n”这样包含空格和换行的key是不允许的。

–在使用的时候可以自己定义一个Key的格式。例如 object-type: id:field

–Key不要太长。占内存，查询慢。

–Key不要太短。u:1000:pwd 不如 user:1000:password 可读性好

•Key相关命令

–exits key 测试指定key是否存在，返回1表示存在，0不存在

–del key1 key2 …keyN 删除给定key,返回删除key的数目，0表示给定key都不存在

–type key返回给定key的value类型。返回 none 表示不存在，key有string字符类型，list 链表类型 set 无序集合类型等…

–keys pattern 返回匹配指定模式的所有key（支持*，？，[abc ]的方式）

–randomkey 返回从当前数据库中随机选择的一个key,如果当前数据库是空的，返回空串

–rename oldkey newkey 原子的重命名一个key,如果newkey存在，将会被覆盖，返回1表示成功，0失败。失败可能是oldkey不存在或者和newkey相同

–renamenx oldkey newkey 同上，但是如果newkey存在返回失败

–dbsize 返回当前数据库的key数量

–expire key seconds 为key指定过期时间，单位是秒。返回1成功，0表示key已经设置过过期时间或者不存在

–ttl key 返回设置了过期时间的key的剩余过期秒数， -1表示key不存在或者没有设置过过期时间

–select db-index 通过索引选择数据库，默认连接的数据库索引是0,默认数据库数是16个。返回1表示成功，0失败

–move key db-index 将key从当前数据库移动到指定数据库。返回1成功。0 如果key不存在，或者已经在指定数据库中

–flushdb 删除当前数据库中所有key,此方法不会失败。慎用

–flushall 删除所有数据库中的所有key，此方法不会失败。更加慎用

•Value

–String

–List

–Set

–Sorted set

–Hash

•String

–string是redis最基本的类型，而且string类型是二进制安全的。

–redis的string可以包含任何数据。包括jpg图片或者序列化的对象。

–最大上限是1G字节。

–如果只用string类型，redis就可以被看作加上持久化特性的memcached

–set key value设置key对应的值为string类型的value,返回1表示成功，0失败

–setnx key value同上，如果key已经存在，返回0 。nx 是not exist的意思

–get key获取key对应的string值,如果key不存在返回nil

–getset key value设置key的值，并返回key的旧值。如果key不存在返回nil

–mget key1 key2 … keyN 一次获取多个key的值，如果对应key不存在，则对应返回nil

–mset key1 value1 … keyN valueN一次设置多个key的值，成功返回1表示所有的值都设置了，失败返回0表示没有任何值被设置

–msetnx key1 value1 … keyN valueN同上，但是不会覆盖已经存在的key

–incr key对key的值做加加操作,并返回新的值。注意incr一个不是int的value会返回错误，incr一个不存在的key，则设置key为1

–decr key同上，但是做的是减减操作，decr一个不存在key，则设置key为-1

–incrby key integer同incr，加指定值 ，key不存在时候会设置key，并认为原来的value是 0

–decrby key integer 同decr，减指定值。decrby完全是为了可读性，我们完全可以通过incrby一个负值来实现同样效果，反之一样。

–append key value给指定key的字符串值追加value,返回新字符串值的长度。

–substr key start end返回截取过的key的字符串值,注意并不修改key的值。下标是从0开始的。

•List

–redis的list类型其实就是一个每个子元素都是string类型的双向链表。我们可以通过push,pop操作从链表的头部或者尾部添加删除元素。这使得list既可以用作栈，也可以用作队列。

–list的pop操作还有阻塞版本的。当我们[lr]pop一个list对象是，如果list是空，或者不存在，会立即返回nil。但是阻塞版本的b[lr]pop可以则可以阻塞，当然可以加超时时间，超时后也会返回nil。为什么要阻塞版本的pop呢，主要是为了避免轮询。举个简单的例子如果用list来实现一个工作队列。执行任务的thread可以调用阻塞版本的pop去获取任务这样就可以避免轮询去检查是否有任务存在。当任务来时候工作线程可以立即返回，也可以避免轮询带来的延迟。

–lpush key string在key对应list的头部添加字符串元素，返回1表示成功，0表示key存在且不是list类型

–rpush key string同上，在尾部添加

–llen key返回key对应list的长度，key不存在返回0,如果key对应类型不是list返回错误

–lrange key start end返回指定区间内的元素，下标从0开始，负值表示从后面计算，-1表示倒数第一个元素 ，key不存在返回空列表

–ltrim key start end截取list，保留指定区间内元素，成功返回1，key不存在返回错误

–lset key index value设置list中指定下标的元素值，成功返回1，key或者下标不存在返回错误

–lrem key count value从key对应list中删除count个和value相同的元素。count为0时候删除全部

–lpop key从list的头部删除元素，并返回删除元素。如果key对应list不存在或者是空返回nil，如果key对应值不是list返回错误

–rpop同上，但是从尾部删除

–blpop key1…keyN timeout从左到右扫描返回对第一个非空list进行lpop操作并返回，比如blpop list1 list2 list3 0 ,如果list不存在，list2,list3都是非空则对list2做lpop并返回从list2中删除的元素。如果所有的list都是空或不存在，则会阻塞timeout秒，timeout为0表示一直阻塞。
当阻塞时，如果有client对key1…keyN中的任意key进行push操作，则第一在这个key上被阻塞的client会立即返回。如果超时发生，则返回nil。

–brpop 同blpop，一个是从头部删除一个是从尾部删除

–rpoplpush srckey destkey从srckey对应list的尾部移除元素并添加到destkey对应list的头部,最后返回被移除的元素值，整个操作是原子的.如果srckey是空或者不存在返回nil

•Set

–redis的set是string类型的无序集合。

–set元素最大可以包含(2的32次方-1)个元素。

–set的是通过hash table实现的，hash table会随着添加或者删除自动的调整大小

–关于set集合类型除了基本的添加删除操作，其他有用的操作还包含集合的取并集(union)，交集(intersection)，差集(difference)。通过这些操作可以很容易的实现sns中的好友推荐和blog的tag功能。

–sadd key member 添加一个string元素到key对应的set集合中，成功返回1,如果元素已经在集合中返回0,key对应的set不存在返回错误

–srem key member 从key对应set中移除给定元素，成功返回1，如果member在集合中不存在或者key不存在返回0，如果key对应的不是set类型的值返回错误

–spop key 删除并返回key对应set中随机的一个元素,如果set是空或者key不存在返回nil

–srandmember key 同spop，随机取set中的一个元素，但是不删除元素

–smove srckey dstkey member 从srckey对应set中移除member并添加到dstkey对应set中，整个操作是原子的。成功返回1,如果member在srckey中不存在返回0，如果key不是set类型返回错误

–scard key 返回set的元素个数，如果set是空或者key不存在返回0

–sismember key member 判断member是否在set中，存在返回1，0表示不存在或者key不存在

–sinter key1 key2…keyN 返回所有给定key的交集

–sinterstore dstkey key1…keyN 同sinter，但是会同时将交集存到dstkey下

–sunion key1 key2…keyN 返回所有给定key的并集

–sunionstore dstkey key1…keyN 同sunion，并同时保存并集到dstkey下

–sdiff key1 key2…keyN 返回所有给定key的差集

–sdiffstore dstkey key1…keyN 同sdiff，并同时保存差集到dstkey下

–smembers key 返回key对应set的所有元素，结果是无序的

•SortSet

–和set一样sorted set也是string类型元素的集合，不同的是每个元素都会关联一个double类型的score。sorted set的实现是skip list和hash table的混合体。当元素被添加到集合中时，一个元素到score的映射被添加到hash table中，另一个score到元素的映射被添加到skip list
并按照score排序，所以就可以有序的获取集合中的元素。

–zadd key score member 添加元素到集合，元素在集合中存在则更新对应score

–zrem key member 删除指定元素，1表示成功，如果元素不存在返回0

–zincrby key score member 增加对应member的score值，然后移动元素并保持skip list有序。返回更新后的score值

–zrank key member 返回指定元素在集合中的排名（下标，非score）,集合中元素是按score从小到大排序的

–zrevrank key member 同上,但是集合中元素是按score从大到小排序

–zrange key start end 类似lrange操作从集合中取指定区间的元素。返回的是有序结果

–zrevrange key start end 同上，返回结果是按score逆序的

–zrangebyscore key min max 返回集合中score在给定区间的元素

–zcount key min max 返回集合中score在给定区间的数量

–zcard key 返回集合中元素个数

–zscore key element 返回给定元素对应的score

–zremrangebyrank key min max 删除集合中排名在给定区间的元素

–zremrangebyscore key min max 删除集合中score在给定区间的元素

•排序

Redis支持对list，set和sorted set元素的排序。排序命令是sort。

命令格式如下：

SORT key [BY pattern] [LIMIT start count] [GET pattern] [ASC|DESC] [ALPHA] [STORE dstkey]

•Hash

–redis hash是一个string类型的field和value的映射表。

–hash特别适合用于存储对象。相较于将对象的每个字段存成单个string类型。将一个对象存储在hash类型中会占用更少的内存，并且可以更方便的存取整个对象。

–hset key field value设置hash field为指定值，如果key不存在，则先创建

–hget key field 获取指定的hash field

–hmget key filed1…fieldN 获取全部指定的hash filed

–hmset key filed1 value1 … filedN valueN 同时设置hash的多个field

–hincrby key field integer 将指定的hash filed 加上给定值

–hexists key field 测试指定field是否存在

–hdel key field 删除指定的hash field

–hlen key 返回指定hash的field数量

4. Java的开发接口–jedis

•连接redis服务端

Jedis jedis = new Jedis(SERVER_ADDRESS, SERVER_PORT);

•各种数据类型操作

jedis.函数名（）；

Jedis使用的函数名和命令名称完全一致

•例如list的操作：

// 将zhangsan加入到students的末尾

jedis.lpush("students", "zhangsan");

// 将zhaoliu 加入students数组的结尾

jedis.rpush("students", "zhaoliu");

// 移除students的第一个元素

jedis.lpop("students");

// 移除students的最后一个元素

jedis.rpop("students");

// 移除制定的元素,第二个参数表示要移除的个数，因为list中是允许出现重复元素的

jedis.lrem("students", 1, "zhangsan");

// 获取students数组的所有元素

List<String> students = jedis.lrange("students", 0, -1);

•连接池

–初始化连接池

JedisPoolConfig jpc = new JedisPoolConfig();

jpc.setMaxActive(100);

// …………

jp = new JedisPool(jpc, SERVER_ADDRESS, SERVER_PORT, 2000);

–销毁连接池

jp.destroy();

–使用和退回连接

Jedis jedis = jp.getResource();

try {

 …………

} catch (JedisConnectionException e) {

 if (null != jedis) {

 jp.returnBrokenResource(jedis);

 jedis = null;

 }

} finally {

 if (null != jedis)

 jp.returnResource(jedis);

}

–maxActive

控制池中对象的最大数量。默认值是8，如果是负值表示没限制。

–maxIdle

控制池中空闲的对象的最大数量。默认值是8，如果是负值表示没限制。

–minIdle

控制池中空闲的对象的最小数量。默认值是0。

–whenExhaustedAction

指定池中对象被消耗完以后的行为，有下面这些选择：

>> WHEN_EXHAUSTED_FAIL 0

>> WHEN_EXHAUSTED_GROW 2

>> WHEN_EXHAUSTED_BLOCK 1

–如果是WHEN_EXHAUSTED_FAIL，当池中对象达到上限以后，继续borrowObject会抛出NoSuchElementException异常。

–如果是WHEN_EXHAUSTED_GROW，当池中对象达到上限以后，会创建一个新对象，并返回它。

–如果是WHEN_EXHAUSTED_BLOCK，当池中对象达到上限以后，会一直等待，直到有一个对象可用。这个行为还与maxWait有关，如果maxWait是正数，那么会等待maxWait的毫秒的时间，超时会抛出NoSuchElementException异常；如果maxWait为负值，会永久等待。

–whenExhaustedAction 的默认值是WHEN_EXHAUSTED_BLOCK，maxWait的默认值是-1。

–maxWait

whenExhaustedAction 如果是WHEN_EXHAUSTED_BLOCK，指定等待的毫秒数。如果maxWait是正数，那么会等待maxWait的毫秒的时间，超时会抛出NoSuchElementException异常；如果maxWait为负值，会永久等待。maxWait的默认值是-1。

–testOnBorrow

如果testOnBorrow被设置，pool会在borrowObject返回对象之前使用PoolableObjectFactory的validateObject来验证这个对象是否有效，要是对象没通过验证，这个对象会被丢弃，然后重新选择一个新的对象。testOnBorrow的默认值是false。

–testOnReturn

如果testOnReturn被设置，pool会在returnObject的时候通过PoolableObjectFactory的validateObject方法验证对象，如果对象没通过验证，对象会被丢弃，不会被放到池中。testOnReturn的默认值是false。

–testWhileIdle

指定idle对象是否应该使用PoolableObjectFactory的validateObject校验，如果校验失败，这个对象会从对象池中被清除。这个设置仅在timeBetweenEvictionRunsMillis被设置成正值（>0）的时候才会生效。testWhileIdle的默认值是false。

–timeBetweenEvictionRunsMillis

指定驱逐线程的休眠时间。如果这个值不是正数（>0），不会有驱逐线程运行。timeBetweenEvictionRunsMillis的默认值是-1。

–numTestsPerEvictionRun

设置驱逐线程每次检测对象的数量。这个设置仅在timeBetweenEvictionRunsMillis被设置成正值（>0）的时候才会生效。numTestsPerEvictionRun的默认值是3。

–minEvictableIdleTimeMillis

指定最小的空闲驱逐的时间间隔（空闲超过指定的时间的对象，会被清除掉）。这个设置仅在timeBetweenEvictionRunsMillis被设置成正值（>0）的时候才会生效。minEvictableIdleTimeMillis默认值是30分钟。

–softMinEvictableIdleTimeMillis

与minEvictableIdleTimeMillis类似，也是指定最小的空闲驱逐的时间间隔（空闲超过指定的时间的对象，会被清除掉），不过会参考minIdle的值，只有idle对象的数量超过minIdle的值，对象才会被清除。这个设置仅在timeBetweenEvictionRunsMillis被设置成正值（>0）的时候才会生效，并且这个配置能被minEvictableIdleTimeMillis配置取代（minEvictableIdleTimeMillis配置项的优先级更高）。softMinEvictableIdleTimeMillis的默认值是-1。

–lifo

pool可以被配置成LIFO队列（last-in-first-out）或FIFO队列（first-in-first-out），来指定空闲对象被使用的次序。lifo的默认值是true。

5. Java的开发接口—管道api

•redis是一个cs模式的tcp server，使用和http类似的请求响应协议。一个client可以通过一个socket连接发起多个请求命令。每个请求命令发出后client通常 会阻塞并等待redis服务处理，redis处理完后请求命令后会将结果通过响应报文返回给client。基本的通信过程如下

Client: INCR X
Server: 1
Client: INCR X
Server: 2
Client: INCR X
Server: 3
Client: INCR X
Server: 4

•基本上四个命令需要8个tcp报文才能完成。由于通信会有网络延迟,假如从client和server之间的包传输时间需要0.125秒。那么上面的四个命令8个报文至少会需要1秒才能完成。

•利用pipeline的方式从client打包多条命令一起发出，不需要等待单条命令的响应返回，而redis服务端会处理完多条命令后会将多条命令的处理结果打包到一起返回给客户端。通信过程如下

Client: INCR X
Client: INCR X
Client: INCR X
Client: INCR X
Server: 1
Server: 2
Server: 3
Server: 4

Jedis jedis = new Jedis(SERVER_ADDRESS, SERVER_PORT);

Pipeline p = jedis.pipelined();

p.set("r1", "bar"); 

p.zadd("r2", 1, "barowitch"); 

p.zadd("r2", 0, "barinsky");

p.zadd("r2", 0, "barikoviev");

Response<String> pipeString = p.get("r1");

Response<Set<String>> sose = p.zrange("r2", 0, -1);

p.sync(); 

jedis.disconnect();