NoSQL概述
-
什么是NoSQL
nosql = not only sql ,意思是“不仅仅是sql”,泛指非关系型数据库。
-
为什么要用NoSQL
- 对数据库高并发读写的要求
- 对海量数据的高效率存储和访问的需求
- 对数据库的高可扩展性的高可用性的需求
- NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题。
-
主流NoSQL
- 键值存储数据库:Tyrant、Redis、Voldemort、Berkeley DB
- 列存储数据库:Cassandra、HBase、Riak
- 文档型数据库:CouchDB、MongoDB
- 图形数据库:Neo4J、InfoGrid、Infinite Graph
NoSQL特点
- 易扩展
- 大数量,高性能
- 灵活的数据模型
- 高可用
Redis概述
什么是Redis
Redis是用c语言开发的一个开源的高性能键值对(K-V)数据库。它通过提供多种键值数据类型
来适应不同场景下的存储需求,主要支持的键值数据类型如下:
- 字符串类型 (string)
- 散列类型(hash、map)
- 列表类型(list)
- 集合类型(set)
- 有序集合类型(zset)
50个并发执行100000个请求,读的速度是110000次/s,写的速度是81000次/s。数据仅供参考
Redis的应用场景
- 缓存
- 聊天室的在线好友列表
- 任务队列
- 应用排行榜
- 网站统计访问
- 数据过期处理
- 分布式集群架构中的session分离
Redis安装和使用
Jedis入门
Redis数据结构
Redis数据结构介绍
- 5种类型
- 关于key的注意点
key不要太长,最好不要超过1024个字节,这样不仅消耗内存还会降低查找效率
key不要太短,降低可读性
统一的命名规范
存储string
概述
字符串类型是Redis中最为基础的数据存储类型,它在Redis中是二进制安全的,这 便意味着该类型可以接受任何格式的数据,如JPEG图像数据或Json对象描述信息等。 在Redis中字符串类型的Value最多可以容纳的数据长度是512M
常用命令
- set key value:设定key持有指定的字符串value,如果该key存在则进行覆盖 操作。总是返回”OK”
- get key:获取key的value。如果与该key关联的value不是String类型,redis 将返回错误信息,因为get命令只能用于获取String value;如果该key不存在,返 回null。
- getset key value:先获取该key的值,然后在设置该key的值。
- del key:删除指定key
- incr key :将指定的key的value原子性的递增1.如果该key不存在,其初始值 为0,在incr之后其值为1。如果value的值不能转成整型,如hello,该操作将执 行失败并返回相应的错误信息
- decr key:将指定的key的value原子性的递减1.如果该key不存在,其初始值 为0,在incr之后其值为-1。如果value的值不能转成整型,如hello,该操作将执 行失败并返回相应的错误信息
- incrby key increment:将指定的key的value原子性增加increment,如果该 key不存在,器初始值为0,在incrby之后,该值为increment。如果该值不能转成 整型,如hello则失败并返回错误信息
- decrby key decrement:将指定的key的value原子性减少decrement,如果 该key不存在,器初始值为0,在decrby之后,该值为decrement。如果该值不能 转成整型,如hello则失败并返回错误信息
-
append key value:如果该key存在,则在原有的value后追加该值;如果该 key 不存在,则重新创建一个key/value
存储hash
概述
Redis中的Hashes类型可以看成具有String Key和String Value的map容器。所 以该类型非常适合于存储值对象的信息。如Username、Password和Age等。如果 Hash中包含很少的字段,那么该类型的数据也将仅占用很少的磁盘空间。每一个Hash 可以存储4294967295个键值对。
常用命令
- hset key field value:为指定的key设定field/value对(键值对)。
- hgetall key:获取key中的所有filed-vaule
- hget key field:返回指定的key中的field的值
-
hmset key fields:设置key中的多个filed/value
-
hdel key field/del key:删除一个字段/删除整个map
-
hmget key fileds:获取key中的多个filed的值
-
hexists key field:判断指定的key中的filed是否存在
-
hlen key:获取key所包含的field的数量
-
hincrby key field increment:设置key中filed的值增加increment,如:age 增加20
存储list
概述
在Redis中,List类型是按照插入顺序排序的字符串链表。和数据结构中的普通链表 一样,我们可以在其头部(left)和尾部(right)添加新的元素。在插入时,如果该键并不 存在,Redis将为该键创建一个新的链表。与此相反,如果链表中所有的元素均被移 除,那么该键也将会被从数据库中删除。List中可以包含的最大元素数量是 4294967295。
从元素插入和删除的效率视角来看,如果我们是在链表的两头插入或删除元素,这将 会是非常高效的操作,即使链表中已经存储了百万条记录,该操作也可以在常量时间内完成。然而需要说明的是,如果元素插入或删除操作是作用于链表中间,那将会是 非常低效的。相信对于有良好数据结构基础的开发者而言,这一点并不难理解。
常用命令
- lpush key value1 value2... 在指定的key所关联的list的头部插入所有的 values,如果该key不存在,该命令在插入的之前创建一个与该key关联的空链 表,之后再向该链表的头部插入数据。插入成功,返回元素的个数
- rpush key value1、value2… 在该list的尾部添加元素
- lrange key start end:获取链表中从start到end的元素的值,start、end可 为负数,若为-1则表示链表尾部的元素,-2则表示倒数第二个,依次类推…
- lpushx key value:仅当参数中指定的key存在时(如果与key管理的list中没 有值时,则该key是不存在的)在指定的key所关联的list的头部插入value。
- rpushx key value:在该list的尾部添加元素
- lpop key:返回并弹出指定的key关联的链表中的第一个元素,即头部元素。
- rpop key:从尾部弹出元素
- rpoplpush resource destination:将链表中的尾部元素弹出并添加到头部
- llen key:返回指定的key关联的链表中的元素的数量。
- lset key index value:设置链表中的index的脚标的元素值,0代表链表的头元 素,-1代表链表的尾元素。
- lrem key count value:删除count个值为value的元素,如果count大于0,从头向尾遍历并删除count个值为value的元素,如果count小于0,则从尾向头遍历并删除。如果count等于0,则删除链表中所有等于value的元素。
- linsert key before|after pivot value:在pivot元素前或者后插入value这个元素。
存储set
概述
在Redis中,我们可以将Set类型看作为没有排序的字符集合,和List类型一样,我 们也可以在该类型的数据值上执行添加、删除或判断某一元素是否存在等操作。需要说明的是,这些操作的时间是常量时间。Set可包含的最大元素数是4294967295。
和List类型不同的是,Set集合中不允许出现重复的元素。和List类型相比,Set类 型在功能上还存在着一个非常重要的特性,即在服务器端完成多个Sets之间的聚合计 算操作,如unions、intersections和differences。由于这些操作均在服务端完成, 因此效率极高,而且也节省了大量的网络IO开销
常用命令
- sadd key value1、value2…:向set中添加数据,如果该key的值已有则不会 重复添加
- smembers key:获取set中所有的成员
- scard key:获取set中成员的数量
- sismember key member:判断参数中指定的成员是否在该set中,1表示存 在,0表示不存在或者该key本身就不存在
- srem key member1、member2…:删除set中指定的成员
- srandmember key:随机返回set中的一个成员
- sdiff sdiff key1 key2:返回key1与key2中相差的成员,而且与key的顺序有 关。即返回差集。
- sdiffstore destination key1 key2:将key1、key2相差的成员存储在 destination上
-
sinter key[key1,key2…]:返回交集。
-
sinterstore destination key1 key2:将返回的交集存储在destination上
-
sunion key1、key2:返回并集。
-
sunionstore destination key1 key2:将返回的并集存储在destination上
存储sorted set
概述
Sorted-Sets和Sets类型极为相似,它们都是字符串的集合,都不允许重复的成员出 现在一个Set中。它们之间的主要差别是Sorted-Sets中的每一个成员都会有一个分 数(score)与之关联,Redis正是通过分数来为集合中的成员进行从小到大的排序。然 而需要额外指出的是,尽管Sorted-Sets中的成员必须是唯一的,但是分数(score) 却是可以重复的。
在Sorted-Set中添加、删除或更新一个成员都是非常快速的操作,其时间复杂度为 集合中成员数量的对数。由于Sorted-Sets中的成员在集合中的位置是有序的,因此, 即便是访问位于集合中部的成员也仍然是非常高效的。事实上,Redis所具有的这一 特征在很多其它类型的数据库中是很难实现的,换句话说,在该点上要想达到和Redis 同样的高效,在其它数据库中进行建模是非常困难的。
例如:游戏排名、微博热点话题等使用场景。
常用命令
- zadd key score member score2 member2 … :将所有成员以及该成员的 分数存放到sorted-set中
- zcard key:获取集合中的成员数量
- zcount key min max:获取分数在[min,max]之间的成员
- zincrby key increment member:设置指定成员的增加的分数。
- zrange key start end [withscores]:获取集合中脚标为start-end的成员,[withscores]参数表明返回的成员包含其分
- zrangebyscore key min max [withscores] [limit offset count]:返回分数在[min,max]的成员并按照分数从低到高排序。[withscores]:显示分数;[limit offset count]:offset,表明从脚标为offset的元素开始并返回count个成员。
-
zrank key member:返回成员在集合中的位置。
-
zrem key member[member…]:移除集合中指定的成员,可以指定多个成员。
-
zscore key member:返回指定成员的分数
keys的通用操作
- keys pattern
- del key1 key2
- exists key
- rename key newkey
- expire key 设置过期时间 单位:秒
- ttl key :获取该key所剩的超时时间,没有设置返回-1,不存在返回-2
- type key
Redis特性
Redis持久化
概述
Redis的高性能是由于将其所有数据都存储在了内存中,为了使Redis在重启之后仍能保证数据不丢失,
需要将数据从内存中同步到硬盘上,这一过程就是持久化。不加持久化,Redis性能更佳。
RDB
- 默认支持、无需配置,该机制是在指定的时间间隔内将内存中的数据快照写入磁盘
- 配置持久化时间间隔
save 900 1#每900s至少有1个key发生变化,则dump内存快照
save 300 10#每300s至少有10个key发生变化,则dump内存快照
save 60 10000#每60s至少有10000个key发生变化,则dump内存快照
配置文件位置 - 恢复很简单,只需要把dump.rdb文件移动到Redis安装目录下即可。
- 可手动 命令 save 保存快照
AOF
- 以日志的形式记录服务器所处理的每一个写操作,在Redis启动时会自动读取该文件重新
构建数据库。 - 配置 生成appendonly.aof 文件
Redis应用场景
Redis应用中遇到的问题及解决方式
穿透
- 现象:访问根本不存在的key-value值,恶意攻击,请求直接怼在db上
- 解决方案:布隆过滤器,将不存在的key加入缓存,过滤掉,(注意以后放入此key时同步缓存)请求不到数据库(类似于黑名单)
限流以防止请求太多导致宕机。
击穿
- 现象:大量并发访问刚好失效的key-value
- 解决方案:把热点数据设置为永不失效
加上静态锁,保证只有一个请求访问数据库并同步缓存
* 分布锁满足两个条件,一个是加有效时间的锁,一个是高性能解锁
* 采用redis命令setnx(set if not exist)、setex(set expire value)实现
雪崩
- 现象:大量的key-value同时失效,导致请求到数据库
- 解决方案:设置不同的失效时间
使用RateLimiter组件等进行请求限流
Redis.conf 配置文件参数说明