后端开发【一大波有用知识】Redis中的IO多线程(线程池)

Redis 中的 IO 多线程(线程池)后端开发大波干货 服务端收到一条信息,给它 deconde 成一条命令然后根据命令获得一个结果(reply)然后将结果 encode 后,发送回去​redis 的单线程是指,命令执行(logic)都是在单线程中运行的接受数据 read 和发送数据 write 都是可以在 io 多线程(线程池)中去运行在 Redis 中,生产者也可以作为消费者,反之亦然,没有明确界限。在 redis.conf 中设置 io-threads-do-reads yes 就可以开启 io 多线程设置 io-threads 2,设置为 2(为了方便调 阅读详情

一、Redis中的IO多线程原理

​服务端收到一条信息,给它deconde成一条命令

然后根据命令获得一个结果(reply)

然后将结果encode后,发送回去

redis的单线程是指,命令执行(logic)都是在单线程中运行的

接受数据read和发送数据write都是可以在io多线程(线程池)中去运行

在Redis中,生产者也可以作为消费者,反之亦然,没有明确界限。

二、设置io多线程(调试设置)

在redis.conf中

设置io-threads-do-reads yes就可以开启io多线程

设置io-threads 2,设置为2(为了方便调试,真正使用的时候,可以根据需要设置),其中一个为主线程,另外一个是io线程

​在networking.c中找到stopThreadedIOIfNeeded,如果在redis-cli中输入一条命令,是不会执行多线程的,因为它会判断,如果pending(需要做的命令)个数比io线程数少,就不会执行多线程

因此提前return 0,确保执行多线程,便于调试

int stopThreadedIOIfNeeded(void) {
    int pending = listLength(server.clients_pending_write);

    /* Return ASAP if IO threads are disabled (single threaded mode). */
    if (server.io_threads_num == 1) return 1;
    return 0;//为了调试,提前退出(自己添加的一行)
    if (pending < (server.io_threads_num*2)) {
        if (server.io_threads_active) stopThreadedIO();
        return 1;
    } else {
        return 0;
    }
}

到此为止,只需要,运行redis-server,在networking.c的 readQueryFromClient中打个断点,然后在redis-cli中输入任意set key value就可以进入io多线程,进行调试

下图可以看到箭头指向的两个线程,一个是主线程,另一个是io线程

​C++后台开发系统学习视频地址:C/C++Linux服务器开发高级架构师/C++后台开发架构师​

以下学习资料,C++后台开发面试题,教学视频,C++后台开发学习路线图,免费分享有需要的可以自行添加:学习资料群720209036 自取

​

三、Redis中的IO线程池

1、读取任务readQueryFromClient

postponeClientRead(c)就是判断io多线程模式,并将任务添加到 任务队列中

void readQueryFromClient(connection *conn) { 
    client *c = connGetPrivateData(conn);
    int nread, big_arg = 0;
 
Redis,RESP协议,阻塞IO 与非阻塞IO,Redis的线程模型 阻塞IO< 非阻塞IO 如果有一个Web服务器,使用阻塞IO 来处理请求, 那么每一个请求都需要开启一个新的线程,如果使用了非阻塞IO,基本上一个小小的线程池就够用了,因为不会发生阻塞,每一个线程都会能够高效的使用。Redis 通信使用了文本协议,文本协议比较非流量,但是 Redis 作者 的瓶颈不在于网络流量,而在于内部逻辑,所以采用了一个费流量的一个文本协议。在非阻塞模式下:虽然只收到了 4个字节,但是读到了4个字节 就会立即返回,不会等着, 等另外6个字节来的时候 再继续读取。手动实现RESP协议。 阅读详情

相关推荐

Redis 6 IO多线程实战:原理、配置与性能优化指南

多线程编程通过并行处理提升系统吞吐量,其核心原理是将任务分解到多个线程并发执行,但需解决数据竞争与同步问题。在缓存领域,Redis长期采用单线程模型保证原子性与简单性,却难以充分利用多核CPU的网络IO能力。Redis 6引入IO多线程,仅将网络读写与协议解析并行化,命令执行仍保持单线程,从而在维持数据一致性的同时显著提升吞吐量。该特性适用于高QPS、小value、网络IO成为瓶颈的缓存场景,如电商秒杀、社交feed流。通过合理配置io-threads参数,可有效降低延迟并提高资源利用率。

weixin_34242819的博客 412

Redis 6.0新特性解析:多线程IO、客户端缓存与ACL实践

缓存是互联网系统提升吞吐、降低延迟的核心手段,而Redis作为高性能键值存储,其单线程模型长期在CPU层面保持高效,但随着网络带宽与连接数增长,网络I/O逐渐成为瓶颈。Redis 6.0引入多线程I/O机制,在保持命令执行单线程的前提下,将网络读写交给多线程处理,显著提升了大对象场景下的吞吐能力。同时,6.0还带来了基于RESP3协议的客户端缓存能力,通过服务端推送失效通知解决本地缓存与Redis的一致性难题;ACL权限模型则让多团队共用实例时实现细粒度管控。这些特性共同构成了Redis 6.0的核心升级主

weixin_30536861的博客 321

Java使用线程池启动多线程

01 Mysql 1. 数据库三范式及判断、E-R图 2. innodb和myisam存储引擎的区别 3. 索引分类(主键、唯一索引、全文索引、覆盖索引等等),最左前缀原则,哪些条件无法使用索引 4. B树、B+树区别,索引为何使用B+树 5. 聚集索引与非聚集索引(使用非聚集索引的查询过程) 6. 事务的ACID(原子性、一致性、隔离性、持久性) 7. 事务隔离级别和各自存在的问题(脏读、不可重复读、幻读)和解决方式(间隙锁及MVCC) 8. 乐观锁和悲观锁、行锁与表锁、共享锁与排他锁(inndob如何手

weixin_57992300的博客 1035

Netty多线程 和 Redis6 多线程对比

Redis 6引入多线程IO,下面我们来和 Netty 的多线程模型进行对比 分析思路: 初始化线程? 如何分配client给thread? 如何处理读写事件,在什么线程处理? 如何处理命令的逻辑,在什么线程处理? Netty的多线程模型 用户代码 ServerBootstrap b = new ServerBootstrap(); b.group(bossGroup, workerGroup) .channel(NioServerSo

m0_67645544的博客 419

Java多线程理论知识(持续更新)

Java多线程理论基础及难点

weixin_38536500的博客 722

【Java后端开发】面试题汇总

多态是指父对象中的行为在子对象中有不同的表现编译时多态:方法重载运行时多态:方法重写后台提供通用服务的线程,守护线程是所有非守护线程的“保姆”,当JVM中只剩下守护线程时,守护线程无事可做,JVM也就退出了自旋锁:如果持有锁的线程能在很短时间内释放锁资源,那么那些等待竞争锁的线程就不需要做内核态和用户态之间的切换进入阻塞挂起状态,它们只需要等一等(自旋),等持有锁的线程释放锁后即可立即获取锁,这样就避免用户线程和内核的切换的消耗。

baidu_29954067的博客 1230

后端开发程序员须彻底搞懂的 IO 底层原理

一、混乱的 IO 概念 IO是Input和Output的缩写,即输入和输出。广义上的围绕计算机的输入输出有很多:鼠标、键盘、扫描仪等等。而我们今天要探讨的是在计算机里面,主要是作用在内存、网卡、硬盘等硬件设备上的输入输出操作。 谈起IO的模型,大多数人脑子里肯定是一坨混乱的概念,“阻塞”、“非阻塞”,“同步”、“异步”有什么区别?很多同学傻傻分不清,有尝试去搜索相关资料去探究真相,结果又被淹没在茫茫的概念之中。 这里尝试简单地去解释下为啥会出现这种现象,其中一个很重要的原因就是大家看到的资料对概念的解

Linuxhus的博客 556

Redis单线程还是多线程?一文搞懂并发模型与任务分类

在服务端架构设计中,单线程、多线程、单任务、多任务经常被混为一谈,导致对高并发模型的理解产生偏差。实际上,线程数描述的是执行者数量,任务并发度则是另一套维度,一个单线程也能同时承载大量连接。理解并发编程的关键在于掌握事件循环与IO多路复用原理:线程将等待操作交给内核,仅在事件就绪时处理对应请求,从而避免大量线程切换开销,实现高吞吐低延迟。这一模型广泛应用于Redis、Nginx等高性能组件中。但单线程事件循环最怕慢任务阻塞,因此需要引入分类多任务机制,将实时命令、异步删除、网络IO分别交给不同执行体。本文以

weixin_30628077的博客 384

服务器实现并发处理多个连接的策略(多进程,多线程,线程池,reactor,多进程+io复用,协程+异步io)

服务器实现并发处理多个连接的策略(多进程,多线程,线程池,reactor,多进程+io复用,协程+异步io)

m0_74206992的博客 701

为什么 Redis 单线程却比多线程还快?真实原因震撼我

在面试中被问到“Redis 线程模型?”是一种怎样的体验?反正当年我第一次被问到时,大脑直接蓝屏。看似简单的“单线程”,背后其实藏着 Reactor、IO 多路复用、多线程 I/O 等一整套高性能哲学。今天小米就用故事,把它讲到你一听就会。

孤芳不自赏 362

12.Redis的事件驱动(IO多路复用)

目录§  从Redis的工作模式谈起§  Reactor模式·        C10K问题·        I/O多路复用技术·        Reactor的定义·        Java中的NIO与Netty§  Redis与Reactor§  总结§  参考资料从Redis的工作模式谈起我们在使用Redis的时候,通常是多个客户端连接Redis服务器,然后各自发送命令请求(例如GetSet)...

郑学炜的技术博客 1万+

Java线程池参数调优:不同业务场景下的最佳配置

创建装饰器类包装ThreadPoolExecutor,记录更详细的指标。// 注册队列指标-1)@Override@Override// 记录任务开始执行前的等待时间等指标@Override// 记录任务执行后的指标,如执行时间、是否异常等@Override对于特殊场景,标准的ThreadPoolExecutor可能无法满足需求,此时可以考虑自定义线程池实现。自定义任务队列可以实现优先级调度、延迟执行、任务超时等特性。// 优先级任务队列实现。

2401_88760782的博客 1862

Redis 6.2.1 安装教程及了解Redis多路概念

2.2.2.1. 准备工作: 下载安装最新版的 gcc 编译器 安装C语言的编译环境 yum install centos-release-scl scl-utils-build yum install -y devtoolset-8-toolchain scl enable devtoolset-8 bash 测试gcc版本 gcc --version 2.2.2.2. 下载 redis-6.2.1.tar.gz 放在 /data/tmp目录下 (注: 根目录下的使用 mkdir xx 是无法新建..

weixin_43802097的博客 1419

IO多路复用 和 C++ 的多线程机制 关系

等是“多线程”编程方式,强调“同时执行多个任务”。是“IO多路复用”机制,强调“一个线程同时等待多个IO事件”。类型技术名功能多线程支持等启动多个线程并行运行任务同步机制std::mutex等多线程间的同步与共享资源保护IO多路复用在一个线程中监听多个IO事件最佳实践epoll + 线程池实现高性能并发服务器。

tianyu的专栏 - Linux site:blog.youkuaiyun.com/wishfly 425

ROS通信机制深度解析:为什么话题订阅模型比服务调用更适合你的机器人项目?

本文深入解析ROS通信机制,重点探讨话题订阅模型相较于服务调用在机器人项目中的优势。通过性能对比和架构分析,揭示话题模型在异步通信、系统解耦和实时数据处理方面的卓越表现,特别适合传感器数据流和高频控制场景。文章还提供了实际案例和高级应用技巧,帮助开发者优化机器人系统设计。

weixin_29172963的博客 101

AJ-Report开源数据大屏存在远程命令执行漏洞

该平台可以通过post方式在validationRules参数对应值中进行命令执行,可以获得服务器权限,登陆管理后台接管大屏。如果被攻击者利用,危害后果十分严重。

swordheart的博客 388

联想Y9000P安装Ubuntu20.04记录

联想Y9000P 2022安装Ubuntu20.04问题记录

Legendyyy的博客 7119

STM32+LoRa模块实战:从环境搭建到数据传输完整指南(附避坑清单)

本文提供STM32与LoRa模块从环境搭建到数据传输的完整实战指南,涵盖硬件连接、开发环境配置、AT指令设置、频段优化及低功耗设计等关键步骤,特别针对常见问题提供解决方案和避坑清单,助力物联网开发者高效实现远距离低功耗通信。

weixin_29168813的博客 292

绕过ROS2!在RDK X5上直接用Python调用海康相机C++ SDK的避坑指南

本文详细介绍了在RDK X5上绕过ROS2,直接使用Python调用海康相机C++ SDK的轻量化方案。通过Cython构建Python绑定,提取海康相机SDK核心组件,实现高效图像采集。文章涵盖环境准备、Cython接口设计、编译系统配置及性能优化技巧,特别适合ARM64平台开发者。

weixin_33712987的博客 251

如何制作DOS启动盘 U盘制作DOS启动盘 HP-U盘启动DOS7 详细步骤教程 Intel网卡使用软件 bootutil lanconfig eeupdate Intel网卡修改MAC地址教程

制作DOS启动盘不是一项复杂的任务,只要按照以下简单的步骤进行操作,您就可以自己动手制作一个DOS启动盘。

lcy524514826的博客 899

uniapp map地图实现marker聚合点,并点击marker触发事件

【代码】uniapp map地图实现marker聚合点,并点击marker触发事件。

weixin_44705979的博客 5437

基于深度学习的人脸识别考勤管理系统,采用YOLOv11和Dlib算法实现人脸识别和考勤签到,前台人脸识别和签到系统 + 后台人脸和考勤管理系统,全网独发

基于深度学习的口罩人脸识别的考勤管理系统,采用YOLOv11和Dlib算法实现人脸识别和考勤签到,前台人脸识别和签到系统 + 后台人脸和考勤管理系统,全网独发

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 1829

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

上一篇: MySQL缓存策略分析
下一篇: 避免惊群以及负载均衡的原理与具体实现
Linux服务器开发
博客等级 码龄7年 610粉丝 589原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值