Redis_概述_特性_IO模型

最新推荐文章于 2024-11-14 01:45:00 发布
原创 最新推荐文章于 2024-11-14 01:45:00 发布 · 148 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java

Redis是一个高性能的内存数据库，支持多种数据结构如String、List、Set等。NoSQL数据库的一种，用于解决大规模数据存储问题。Redis提供缓存功能，有实时同步和阶段性同步两种模式。其特点是高性能、简单稳定、持久化和高可用集群。从Redis6.0开始支持多线程IO模型，提高处理能力。

本章要点

  • 掌握NoSql数据库的概念和与sql数据库的区别
  • 初步了解Redis内存数据库
  • 了解Redis内存数据库的优点及其原因
  • 掌握Redis的多线程IO模型
  • 学习Redis的安装和配置

Redis简介

Redis 全称 Remote Dictionary Server 远程字典服务! 使用C语言编写,支持网络,可基于内存也可以持久化的日志型,NoSQL开源内存数据库,其提供多种语言的API Redis是一个key-value存储系统,支持存储的val类型很多,String,List,Set,Zset(sorted set--有序集合) 和Hash

NoSQL

NoSQL (not noly sql) 泛指非关系型数据库.产生主要为了解决大规模数据集合多重数据种类带来的挑战,特别是大数据应用难题

种类

我们根据存储的方式有不同的NoSQL数据库种类

  • 键值存储数据库

就像map一样key-value对 代表 Redis

  • 列存储数据库

我们知道关系型数据库是典型的行存储数据库,因为行存储数据库在物理层面上占用的是连续存储空间,不适合海量数据存储,而列存储方式可以实现分布式存储,适合海量存储 代表 Hbase

  • 文档型数据库

就是NoSQL和关系型数据库的结合!最像关系型数据库的NoSQL.代表MongoDB

  • 图形(Graph)数据库

用于存放节点关系的数据库.列如描述不同人间的关系.典型代表 Neo4J

Redis用途

Redis是内存数据库,相比于磁盘存储就是一个快字,所以一般用于做数据缓存!即我们客户端从数据库DBMS查询的数据首先写入到Redis中,然后当下次再有客户端需要访问该条数据,我们只需要直接读取Redis即可!,不仅减少了RT一次http的往返时间,还减少了DBMS的压力!

缓存数据划分: 我们根据Redis缓存于DBMS中数据的同步性划分为2类

  • 实时同步缓存

就是一些实时性数据当DBMS更新后,Redis缓存中的相关数据会立即清楚,当下次请求来临先到DBMS中获取,然后再写入到Redis中

  • 阶段性同步缓存

当DBMS持久层数据更新后,Redis缓存中存放的相关数据并不会立即清除, 允许一段时间Redis缓存中的数据和DBMS中的数据不完全一致!这个时间段就是缓存数据的过期时间!

Redis特性

能够做缓存的技术中间件这么多,我们为何要选择Redis Redis的过人之处在哪呢?

  • 性能极高

Redis的性能是极高,Redis的读操作速度可达到 11w 次/s,写的速度可达到 8w次/s 原因:1.Redis的所有操作都是在内存中进行的 2.Redis用C语言开发 3.Redis源码非常精细

  • 简单稳点

Redis源码很少,早期自由2w行左右,从3.0加入集群功能后代码变成5w行只有.可维护性也高

  • 持久化

虽然Redis是内存数据库,但是也支持持久化操作. 有2种方式 RDB和AOF

  • 高可用集群

Redis提供了高可用的主从集群,可以保证系统的安全性

  • 丰富的数据类型

支持存储的value类型很多.包括 String,List,Set,Zset(sorted set) 和Hash 还有BitMap,HyperLogLog,Geospatial类型 BitMap:一般用于大数据的二值性统计 HyperLogLog:用于数据量庞大的日志做去重操作 Geospatial:地理空间,主要提供地理位置的相关计算

  • 强大的功能

Redis提供了数据过期功能,发布/订阅功能,简单事务功能,还支持Lua脚本扩展功能.

  • 客户端语言广泛

Redis提供了简单的TCP通信协议,编程语言可以方便的接入Redis.

  • 支持ACL权限控制

之前的权限控制十分笨拙,从Redis6开始引入了ACL模块,可以给不同的用户指定不同的权限 ALC: Access Control List 访问控制列表,是一种细粒度的权限控制策略,可以针对任意用户和组进行权限控制, UGO是一种粗粒度的权限控制操作策略

  • 支持多线程IO模型: Redis之前版本采用的是单线程模型,从6.0开始支持多线程模型

Redis的IO模型

Redis客户端提交的请求,然后由Redis处理请求所采用的处理架构,称为Redis的IO模型,不同版本的IO模型不同

单线程模型

对于Redis3.0及之前版本,Redis的IO模型就是纯粹的单线程模型,所有客户端的请求由一个线程处理!

Redis的单线程采用了多路复用技术!

对于多路选择算法参见的有3种:select模型,poll模型,epoll模型

  • poll模型:采用轮询方式,该模型对客户端的就绪处理是有延迟的
  • epoll模型: 采用的是回调的方式

每个客户端如果要向Redis提交请求,需要先建立一个socket连接,并向事件分发器注册一个事件.一旦该事件发生说明该链接已经就绪.然后事件分发器就可以感知到.然后获取到客户端发送的请求,然后放入任务队列,等待处理线处理! 事件分发器会根据不同的事件将任务交给不同的时间处理器处理

混合线程模型

Redis4.0开始就加入了多线程元素,虽然处理客户端请求仍是单线程模型.但是对于一些比较耗时并且不影响客户端响应的操作交给后台其他线程处理 例如持久化操作,对AOF的rewrite,对失效链接的处理等

多线程模型

Redis6.0版本开始,才是真正意义的多线程模型.因为客户端请求的处理采用的是多线程模型

多线程IO模型中的多线程仅仅是用来解析客户端请求,然后解析出请求放入到任务队列.对于具体任务的处理还是右主线程处理!这样用户就无需考虑线程安全问题.无需考虑事务控制.以及像LPUSH/LPOP执行顺序问题.

优缺点总结

  • 单线程模型
  • 优点:可维护性高,性能高.不存在并发读写情况.所以不存在执行顺序的不确定性,不存在切换线程的开销,不存在死锁问题,不存在为了数据安全而进行的加锁/解锁开销
  • 缺点:性能受到影响,由于单线程自会用到一个处理器,所以会有处理器的浪费
  • 多线程模型
  • 优点:其结合了单线程和多线程的优点,并且避开了他们的不足 缺点:该模型没有显示不足.如果非要说缺点的话,他并非是真正意义上的多线程模型,因为真正处理任务的线程仍然是单线程.所以性能有些许影响!

作者：bug郭
链接：https://juejin.cn/post/7220359399898185783。

Redis 与 Spark 整合实战：大数据实时处理的最佳拍档
小程序开发
09-02 983
本文将从“理论基础→环境搭建→实战案例→优化进阶”全流程，手把手带你掌握 Redis 与 Spark 的整合技术。我们会先理解二者的协作逻辑，再搭建完整的开发环境，接着通过3个递进式案例（基础数据读写→实时日志分析→实时风控规则引擎）实战演练，最后深入探讨数据一致性、性能优化、高可用等核心问题。至此，我们已完成 Redis 和 Spark 的环境搭建，并配置了整合所需的依赖。核心目标是：让 Spark 能通过与 Redis 建立连接，实现数据的双向流转。
Redis高频面试基本问题与知识点整理
热门推荐
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
04-07 173万+
对Redis一些重点内容进行整理总结用于查缺补漏，应对各大互联网大厂面试方向题库
IOPS偏高的追踪过程
weixin_33856370的博客
04-25 1020
现象描述最近有同事注意到一台线上服务器的SSD寿命消耗比较快，因此对数据写入情况做了追踪。通过df能明显看到硬盘分区/dev/sda1空间的变化，约10-20s左右会写一批数据，约3GB左右，然后数据被删除。[root@67-31 conf]# df -h文件系统 容量 已用 可用 已用%% 挂载点/dev/sda1 50G 6.4G 41G 14% /tmpfs 63G 0...
【Redis】到底是单线程还是多线程以及Redis为什么这么快？
Zhangsama1的博客
10-01 2219
多个角度解释为什么Redis这么快
这是你没见过的不一样的redis
资料qun832218493
11-26 279
文件硬盘I/O 存储金字塔  寄存器 CPU 中的Regs速度与CPU同步 SRAM 通电状态的话数据一直保持，断电数据丢失 DRAM需要不断刷新但是实现复杂，导致访问效率低于SRAM SSD 固态硬盘 HDD 硬盘，指传统的机械硬盘 硬盘 HDD ： 【文章福利】小编推荐自己的linuxC/C++语言交流群：832218493！整理了一些个人觉得比较好的学习书籍、视频资料共享在群文件里面，有需要的可以自行添加哦！~ 机械硬盘组成及细分 盘片 磁头 悬臂 磁道： 磁道分成扇区，盘面上同一扇区组成柱面
吞吐量与IOPS
csdn20142的博客
02-11 302
阵列的瓶颈主要体现在2个方面，吞吐量与IOPS。 1、吞吐量 吞吐量主要取决于阵列的构架，光纤通道的大小（现在阵列一般都是光纤阵列，至于SCSI这样的SSA阵列，我们不讨论）以及硬盘的个数。阵列的构架与每个阵列不同...
redis资料
qq_45561732的博客
07-28 163
Redis的学习 磁盘基础知识 1.寻址:m/s 2.带宽:G/M 内存 1.寻址:ns 2.带宽:很大 秒>毫秒>微秒>纳秒 内存寻址比硬盘寻址快10万倍 IO buffer 成本问题, 磁盘有磁道和扇区,一扇区512byte,带来成本变大:索引 4K对齐,操作系统无论读多少都是最少4k从磁盘拿 随着文件变大,速度变慢,IO成为瓶颈 数据库 data page 4k 关系型数据库建表:必须给出schema 类型:建表宽度 存:倾向于行级存储 内存维护一个b+树 磁盘:存储数据和索引 表很
Redis与IO多路复用
微刻
11-14 1677
IO多路复用是一种处理并发IO请求的技术，它允许单个线程监视多个文件描述符（file descriptors），以确定哪些文件描述符已经准备好进行IO操作。这项技术的核心在于能够在单个线程中高效地处理多个并发连接，而无需为每个连接创建一个线程。定义：IO多路复用模型允许一个线程处理多个输入/输出通道。当某个通道有数据可读或可写时，该线程会被通知，然后执行相应的操作。提高效率：通过IO多路复用，Redis能够使用一个线程来管理多个客户端连接，减少了线程创建和销毁的开销，提高了资源利用率和系统吞吐量。
基于协程io_uring 异步网络库系列 III： Proactor、异步与协程 | C++20 coroutine 教程 | io_uring 异步IO 网络框架 系列笔记
锐龙处理器
03-04 1036
本系列通过结合 linux 的 io_uring 和 cppcoro （源码需要进行部分修改以适配 linux 下的 g++-11）在网络中的使用学习 C++20 coroutine。值得注意的是，cppcoro 目前已经暂停维护，仍然为 TS 版本的支持，同时其真异步底层支持只支持了 win32 的 IOCP（本身 cppcoro 兼容 MSVC），但是本系列不想涉及 IOCP 和 windows 的部分因为除了跨平台外，没有太大意义（如果采用 windows 的话，C# 是足够好的语言，但是目前广泛的.
关注磁盘的两个指标： IOPS 和传输带宽（吞吐量）
记录创业路上的一些想法
05-17 6345
㈠ IOPS                磁盘的 IOPS、也就是每秒能进行多少次IO        那么、如何才算一次IO呢？        其实、这是个定义很混乱的问题        因为、系统由一个个层次模块组合而成、每个模块都有各自的接口        而在接口间流动的数据就是IO        但是、各个模块都各自为政、都有自己一次IO的定义        所以、一次IO要在具体模块内
说说IO（二）- IO模型
yuwenruli的专栏
08-22 730
这部分的东西在网络编程经常能看到，不过在所有IO处理中都是类似的。 IO请求的两个阶段：        等待资源阶段：IO请求一般需要请求特殊的资源（如磁盘、RAM、文件），当资源被上一个使用者使用没有被释放时，IO请求就会被阻塞，直到能够使用这个资源。        使
redis杂谈
liushangzaibeijing的博客
12-05 4万+
本篇博客是redis相关使用和问题的汇总，有缓存穿透、缓存雪崩、redis的使用场景、分布式锁、队列、事务、lua脚本相关的java实现，希望能给读者学习redis提供帮助
我又和redis超时杠上了
xiaocai
03-09 439
1，对于抓包分析，还是疏忽了，加上包限制大小，能很好的防止tcpdump抓包时丢包的情况。2，对于任何第三方的说法要有自己的判断力，像这次如果中途去将磁盘扩容显然是不能解决问题的。3，性能问题分析真是像一个侦探破案的过程，不断列出证据，不断排除掉干扰因素，不断论证的过程也是性能分析的魅力所在吧，就像这次看到cpu的确比较高了，但是究竟是不是客户端问题呢？我又抓包论证了的确是客户端问题，那究竟是不是协程调度问题呢？我又列出协程调度延迟。
细说Redis监控和告警
wejack的专栏
08-09 2392
Redis监控和告警指标
为什么redis是单线程的以及为什么这么快？
经典鸡翅
06-05 633
官网的说法 我们先来认真看一下官网的说法。翻译过来大意如下： CPU并不是您使用Redis的瓶颈，因为通常Redis要么受内存限制，要么受网络限制。例如，使用在一般Linux系统上运行的流水线Redis每秒可以发送一百万个请求，因此，如果您的应用程序主要使用O（N）或O（log（N））命令，则几乎不会使用过多的CPU 。 但是，为了最大程度地利用CPU，您可以在同一服务器上启动多个Redis实例，并将它们视为不同的服务器。在某个时候，单个实例可能还不够，因此，如果您要使用多个CPU，则可以开始考虑更早地分
Redis性能指标监控
朱小厮的博客
06-20 1690
点击上方“朱小厮的博客”，选择“设为星标”后台回复"加群"，加入新技术来源：8rr.co/8UY6监控指标性能指标：Performance内存指标: Memory基本活动...
Redis性能指标详解与监控
xusanyao的博客
03-27 2288
为了方便对redis进行监控管理，一些公司会自己开发监控，或在已有的系统中添加功能。对redis info信息的获取是必须要处理的。Redis Info信息包括Server,Clients,Memory,Persistence,Stats,Replication,CPU,Commandstats,Cluster,Keyspace等，下边我们详细介绍各部分对应信息。 Server： redis_...
redis线程模型
最新发布
03-30
### Redis 线程模型的工作原理 #### 单线程模型（Redis 6.0 之前） 在 Redis 6.0 版本发布前，其采用的是完全基于单线程的处理模型。这意味着所有的客户端请求都由同一个主线程负责接收、解析以及响应[^1]。尽管如此，由于 Redis 结合了高效的内存管理和 I/O 多路复用技术，即使是在高并发环境下也能保持良好的性能表现。 具体来说，Redis 的单线程并非单纯地按顺序逐一执行每个请求，而是通过事件驱动的方式运行。在这种模式下，Redis 利用了操作系统提供的 I/O 多路复用功能（如 `epoll` 或 `kqueue`），从而可以同时监听多个文件描述符上的事件并作出快速反应[^3]。 #### 多线程模型（自 Redis 6.0 起） 然而，随着现代计算机网络硬件的发展速度加快，原有的单线程架构逐渐暴露出一些局限性——尤其是当面对极高吞吐量的数据传输需求时，单一工作线程可能无法及时完成所有必要的网络读写操作。因此，在 Redis 6.0 中引入了一种新的多线程机制来优化这部分流程[^4]。 新加入的多线程特性主要用于分担原本属于主线程的部分职责，即 **网络 IO 数据的读取与写入** 和 **协议解析** 这两方面内容。这些任务被分配给若干个辅助线程去独立完成；而核心逻辑部分，比如实际命令的具体执行过程，则依旧保留于原来的那个唯一存在的主线程之中不变。 这样的设计既解决了因频繁进行低效阻塞型 IO 导致的整体效率下降问题，又很好地继承了过去版本里简单明了易于维护的优点，同时也规避掉了可能出现的各种复杂的同步锁竞争状况等问题[^2]。 以下是简化版伪代码展示如何区分不同类型的作业交给不同的组件处理： ```python def handle_client_request(client_socket): data = read_from_network_thread_pool(client_socket) # 使用多线程池读取数据 command, args = parse_protocol(data) # 解析协议仍可放在主线上或子线程视情况定 result = execute_command_in_single_main_thread(command, *args) # 所有命令最终交予单一线程执行 write_to_network_thread_pool(result, client_socket) # 将结果回传利用多线程写入 ``` 以上就是关于 Redis 不同阶段所采取的不同线程策略及其背后的设计考量概述。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值