为什么建议 Netty 的 I/O 线程与业务线程分离

五、Netty核心技术之线程模型讲解 一、线程模型基本介绍      不同的线程模式,对程序的性能有很大的影响,为了搞清Netty线程模式,我们来系统的讲解下各个线程模式,最后看看Netty线程模型有什么优越性。      目前存在的线程模型有: 传统阻塞IO服务模型 Reactor模式      根据Reator的数量和处理资源线程池线程的数量不同,有三种典型的实现 单Reactor 单线 阅读详情

点击上方“芋道源码”,选择“置顶公众号”

技术文章第一时间送达!

源码精品专栏

 

来源:Netty 之家

问题背景:

某互联网同学咨询一个Netty使用问题:最近在研究公司内部的RPC框架,发现底层通信框架使用的是Netty,而且Netty的I/O线程与处理业务的线程分离。具体如下:

1、负责服务端监听的是Accept  NioEventLoopGroup线程组

2、负责链路读写操作的是Work NioEventLoopGroup线程组

3、消息解码完成之后,投递到后端的一个业务线程池中处理,线程池使用的是JDK自带的线程池

该同学的疑问:为什么业务的处理不能放到Work NioEventLoopGroup中?

1、如果业务线程处理比较慢,即便I/O线程处理再快,业务端到端响应还是不会缩短

2、I/O线程到业务线程存在线程上下文切换,增加了额外的开销

想法:

构造一个线程数较大(例如1024)的NioEventLoopGroup,同时处理链路的读写和业务处理。即业务处理和消息读写统一使用Netty的I/O线程池(实质自定义的线程组)。


问题答复

Netty I/O线程和业务处理线程分离原因:

1、充分利用多核的并行处理能力:I/O线程和业务线程分离,双方可以并行的处理网络I/O和业务逻辑,充分利用多核的并行计算能力,提升性能。

2、故障隔离:后端的业务线程池处理各种类型的业务消息,有些是I/O密集型、有些是CPU密集型、有些是纯内存计算型,不同的业务处理时延,以及发生故障的概率都是不同的。如果把业务线程和I/O线程合并,就会存在如下问题:

1)某类业务处理较慢,阻塞I/O线程,导致其它处理较快的业务消息的响应无法及时发送出去。

2)即便是同类业务,如果使用同一个I/O线程同时处理业务逻辑和I/O读写,如果请求消息的业务逻辑处理较慢,同样会导致响应消息无法及时发送出去。

3、可维护性:I/O线程和业务线程分离之后,双方职责单一,有利于代码维护和问题定位。如果合设在一起,当RPC调用时延增大之后,到底是网络问题、还是I/O线程问题、还是业务逻辑问题导致的时延大,纠缠在一起,问题定位难度非常大。例如业务线程中访问缓存或者数据库偶尔时延增大,就会导致I/O线程被阻塞,时延出现毛刺,这些时延毛刺的定位,难度非常大。

4、资源代价:NioEventLoopGroup的创建并不是廉价的,它会聚合Selector,Selector本身就会消耗句柄资源。

Netty的NioEventLoop设计理念就是通过有限的I/O线程,通过多路复用和非阻塞的方式,一个线程同时处理成百上千个链路,来解决传统一连接一线程的同步阻塞模型。

因此,它的创建成本也较高,一个进程中不宜创建过多NioEventLoop。

相关代码如下所示:

5、线程切换的代价:如果不是追求极致的性能,线程切换只要不过于频繁,它的代价还是可以接受的。在一个复杂的系统中,当你集成第三方SDK时,例如Redis Client,通常都包含着隐式的线程切换。一些场景下,为了实现系统的高可用性,例如 基于Hystrix做故障隔离,同样会存在线程切换:Hystrix基于线程做故障隔离


该问题引申的其它几个问题

1、Netty的I/O线程 NioEventLoop是否可以处理非I/O任务?

答案是肯定的,通过它提供的接口就可以看出这点:

它的execute方法参数是Runnable,与JDK的线程池execute方法是等价的(异常处理策略存在差异)。

开了这个口子之后,就会存在风险,例如用户为了简化线程处理模型,把所有的业务任务封装成Task,丢到Nett用的I/O线程NioEventLoop中执行。为了防止过多的业务任务阻塞I/O线程的网络读写操作,NioEventLoop提供了设置I/O任务和非I/O任务的处理比例,通过合理的调整处理比例,来保证更合理的资源调度。

Netty并不反对在I/O线程中处理非I/O任务,而是需要用户必须要避免意外的I/O线程阻塞,以及过多的占用I/O任务调度,导致网络I/O处理性能下降。

2、一个超大的JDK业务线程池是不合适的,原因有两个:

1)性能问题:JDK线程池默认采用一个阻塞队列,N个work线程的模式,随着work线程数的增加、队列的争用会非常激烈,进而导致性能下降。

建议采用N组线程池,每个线程池线程数尽量少的方式增加并行处理能力,

减少锁争用。

2)故障隔离问题:如果后端只有一个线程池,某个服务故障将会导致整个进程不可用。采用分组处理业务服务的方式,可以降低故障的影响范围,示例如下所示:



如果你对 Dubbo / Netty 等等源码与原理感兴趣,欢迎加入我的知识星球一起交流。长按下方二维码噢:


目前在知识星球更新了《Dubbo 源码解析》目录如下:

01. 调试环境搭建
02. 项目结构一览
03. 配置 Configuration
04. 核心流程一览

05. 拓展机制 SPI

06. 线程池

07. 服务暴露 Export

08. 服务引用 Refer

09. 注册中心 Registry

10. 动态编译 Compile

11. 动态代理 Proxy

12. 服务调用 Invoke

13. 调用特性 

14. 过滤器 Filter

15. NIO 服务器

16. P2P 服务器

17. HTTP 服务器

18. 序列化 Serialization

19. 集群容错 Cluster

20. 优雅停机

21. 日志适配

22. 状态检查

23. 监控中心 Monitor

24. 管理中心 Admin

25. 运维命令 QOS

26. 链路追踪 Tracing

... 一共 69+ 篇

目前在知识星球更新了《Netty 源码解析》目录如下:

01. 调试环境搭建
02. NIO 基础
03. Netty 简介
04. 启动 Bootstrap

05. 事件轮询 EventLoop

06. 通道管道 ChannelPipeline

07. 通道 Channel

08. 字节缓冲区 ByteBuf

09. 通道处理器 ChannelHandler

10. 编解码 Codec

11. 工具类 Util

... 一共 61+ 篇

目前在知识星球更新了《数据库实体设计》目录如下:

01. 商品模块
02. 交易模块
03. 营销模块
04. 公用模块

... 一共 17+ 篇

源码不易↓↓↓↓↓

点赞支持老艿艿↓↓

Netty的线程模型怎么设计的 Netty 的线程模型旨在高效地处理并发连接和请求,以优化网络应用程序的性能。其线程模型包括了多种优化技术,例如。这些机制使 Netty 能够高效处理大规模并发连接和请求,是其在高性能网络编程中广泛应用的基础。等,用于在高负载下保持高效稳定的性能。下面详细介绍 Netty 的线程模型及其提升性能的方法。示例代码:简单的 Netty 服务器线程模型。Netty 线程模型概述。2. Worker 线程。Netty 的线程模型。1. Boss 线程。3. 用户自定义线程。 阅读详情

相关推荐

Netty-自定义线程池处理长耗时业务

在Netty中,EventLoop 和 EventExecutorGroup 提供的普通任务不能解决长耗时业务处理引起的 I/O 线程阻塞问题,究其原因:在 Netty 中,一个 channel 在它的生命中期内只注册于一个 EventLoop,而一个 EventLoop 在它的生命周期内只和一个线程绑定,一个给定的 channel 的 I/O 操作都是由相同的线程进行处理。为此不能直接在该线程上进行长耗时业务处理。为了解决这个问题,通常的做法是:自定义线程池,把长耗时的业务都丢到线程池中去处理。

skystep的博客 1384

Netty进阶之路-I/O线程和业务线程分离

Netty进阶之路-I/O线程和业务线程分离前言Netty的线程模型I/O线程和业务线程解决思路 前言 之前我们对于Netty的客户端进行了优化,现在我们来看看服务端有哪些地方可以优化。 Netty的线程模型 目前服务端我们通常用的就是主从Reactor多线程模型 一个线程组用于接收客户端的连接请求 一个线程组用于处理I/O相关的读写或者执行系统Task和定时任务 //netty主从线程模型(...

a294634473的博客 4697

简述Netty的线程模型(Reactor模式)

这个模型是Netty高性能网络框架的核心设计,也是学习Netty必须掌握的基础。Netty线程模型的核心思想是将不同类型的任务分配给专门的线程池处理,Netty的线程模型主要由两类线程组(,从而实现高并发和低延迟。CPU核心数 * 2。

hkntw的博客 969

netty的线程池(揭示了使用两个线程池的原因)&知识汇总

线程模型是Netty的核心设计,设计地很巧妙,之前项目中有一块处理并发的设计和Netty的Eventloop单线程设计类似,效果得到了实证。 Netty5的类层次结构和之前的版本变化很大,网上也有很多文章写Netty的线程模型,Reactor模式,比如这篇http://blog.youkuaiyun.com/xiaolang85/article/details/37873059, 应该是引自《Netty权威指南》,写得比较全面,但是有几个关键的概念没讲清楚。 这篇文章只讲Netty5线程模型最重要的几个关键点 理解Ni

m0_45406092的博客 3865

利用异步非阻塞IO线程和业务线程分离提升.NET中Netty的性能

然而,如果IO线程同时负责处理业务逻辑,可能会导致IO线程的负载过重,影响系统的吞吐量和响应速度。为了解决这个问题,我们可以使用线程池来处理业务逻辑,从而将IO线程和业务线程分离。这样,当有新的请求到达时,IO线程将立即处理并返回,而业务逻辑将在业务线程分离的情况下进行处理。为了进一步提升Netty的性能,我们可以将IO线程和业务线程分离,以充分利用系统资源并提高应用的并发处理能力。IO线程可以专注于处理网络IO操作,而业务线程则可以处理复杂的业务逻辑,使得整个应用程序能够更高效地处理大量的并发请求。

CodeBandit的博客 204

【汽车ECU电控数据管理篇】A2L文件在ECU标定中的关键作用与实战解析

本文深入解析A2L文件在汽车ECU标定中的关键作用,详细介绍了其作为'数据字典'的核心功能与实战应用。通过剖析A2L文件的结构、关键标签及常见问题,帮助工程师高效管理电控数据,提升ECU标定效率与准确性。文章特别强调了ASAP2标准下的A2L文件在汽车电控系统中的重要性。

a3b4c5的博客 789

netty 接收不到客户端传来的消息_Netty-服务端接收不到客户端发送消息案例

得益于高性能、低时延的优势,Netty被广泛应用于物联网领域,用于海量终端设备的协议接入、消息收发和数据处理。当服务端出现性能瓶颈或者阻塞时,就会导致终端设备连接超时和掉线,引发各种问题,因此在物联网场景下,一定要防止服务端代码因为编码不当导致的意外阻塞,进而无法处理终端请求消息。服务端接收不到客户端发送消息案例堆栈分析以及解决方案NioEventLoop线程防死锁策略总结服务端接收不到客户端发送...

weixin_29475917的博客 4582

Android 面试题 Handler篇

1.Handler的实现原理。

ViewHandKownHealth的博客 955

Netty——I/O 线程模型

本文讲解了几种常见的 I/O 线程模型,并且介绍了 Redis 和 Netty 使用的 I/O 线程模型。

qq_61350148的博客 1430

ZynqMP多核实战:如何让A53-0跑Linux,其他核裸机处理大数据(附完整配置流程)

本文详细解析了Xilinx ZynqMP多核异构计算实战,重点介绍如何配置A53-0运行Linux系统,同时让其他A53和R5核心以裸机方式处理大数据任务。内容涵盖内存划分、核间通信、Linux定制配置等关键技术,提供完整的配置流程和性能优化方案,助力开发者实现高效的多核协同开发。

weixin_30555125的博客 480

【论文复现】Applied Intelligence 2025:Auto-PU正例无标签学习的自动化实现与GPT-5.4辅助编程实战

正例-无标签学习(Positive-Unlabelled Learning, PU Learning)是机器学习领域处理"只有正例标签,负例完全未知"场景的重要技术。本文基于2025年发表于Applied Intelligence的最新研究成果,详细阐述如何从零复现Auto-PU框架(包含GA-Auto-PU、BO-Auto-PU、EBO-Auto-PU三种优化器)。

nmdbbzcl的博客 1391

Java 开发必备! I/O与Netty原理精讲

简介:I/O技术在系统设计、性能优化、中间件研发中的使用越来越重要,学习和掌握I/O相关技术已经不仅是一个Java攻城狮的加分技能,而是一个必备技能。本文将带你了解BIO/NIO/AIO的发展历程及实现原理,并介绍当前流行框架Netty的基本原理。一 Java I/O模型1 BIO(Blocking IO)BIO是同步阻塞模型,一个客户端连接对应一个处理线程。在BIO中,accept和read方法都是阻塞操作,如果没有连接请求,accept方法阻塞;如果无数据可读取,read方法阻塞。2 NIO(No

阿里云开发者 3214

Open3D 高斯牛顿法优化的ICP点云配准

本文介绍了基于高斯牛顿法的ICP点云配准算法。算法通过最小化源点云与目标点云之间的误差函数,求解最优的刚性变换参数(平移向量和欧拉角)。核心内容包括:1)建立误差函数和目标函数;2)推导雅可比矩阵计算,特别是旋转导数的李代数近似;3)详细阐述高斯牛顿法的迭代流程,包括变换计算、最近邻搜索、参数更新等步骤;4)分析算法的优缺点,指出其具有二阶收敛速度但可能陷入局部最优。最后给出了完整的数学推导过程,包括误差函数的泰勒展开和目标函数的近似优化。该算法适用于三维点云配准任务,但需要良好的初始位姿以避免局部收敛问题

点云侠的博客 128

Netty4之业务线程池的使用

此文章是基于Netty4.1,一般在使用Netty做服务端开发时,通常会定义I/O线程池及业务线程池。I/O线程池顾名思义用于处理网络连接及维护Channel的相关事件(一般像心跳及编解码都可以使用I/O线程池)。当需要处理比较耗时的业务逻辑也共用I/O线程池话会对整个服务的吞吐量有比较大的影响(曾经遇到过)。所以在生产环境中建议定义业务线程池。下面说说如何使用业务线程池及业务线程池处理逻辑的原理...

只有想不到没有做不到,程序的力量。。。 9249

高空抛物监控系统:基于YOLOv8的轨迹追踪与可视化系统

本文详细介绍了一种基于YOLOv8深度学习模型的高空抛物监控系统,该系统能够实时检测并追踪高层建筑抛掷物的运动轨迹。文章包含完整的系统设计思路、算法实现细节、数据集构建方法以及基于PyQt5的可视化界面开发过程。我们提供了完整的Python实现代码,并讨论了系统的性能优化策略和实际部署考量。此外,我们还推荐了几个公开可用的高空抛物数据集,并详细分析了系统的应用前景和技术挑战。

YOLO 447

PhotovoltaicPanelCleanlinessDetector:基于YOLOv8的光伏板清洁状态监测系统

data.yamlyaml复制编辑names:0: clean1: dust3: leaves4: shadow✅ 高精度污染识别✅ 具备实时检测与UI展示✅ 可本地化部署应用未来方向增加污染程度分级(轻度、中度、严重)加入时间序列分析(污染变化趋势预测)无人机集成巡检模块。

YOLO 276

Netty I/O模型和线程模型

Netty: 首页Netty是一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端Netty是由JBoss提供的一个java开源框架,现为 Github上的独立项目。Netty提供异步的、事件驱动的网络应用程序框架和工具,用以快速开发高性能、高可靠性的网络服务器和客户端程序。也就是说,Netty 是一个基于NIO的客户、服务器端的编程框架,使用Netty 可以确保你快速和简单的开发出一个网络应用,例如实现了某种协议的客户、服务端应用。

qq_62767608的博客 1385

Mediatek NeuroPilot Yolov8量化

【代码】Mediatek NeuroPilot Yolov8模型转化。

sdrgtywretyeruet的专栏 348

Netty业务逻辑的分离(所有文章集合)

原博文,点击这里 文章目录1.Netty的NIO线程常见的阻塞场景2.JDK的线程池还是Netty的非I/O线程池?3.异步的执行结果怎么回到Netty的NIO线程?4.JDK的线程池拒绝策略的坑可能导致阻塞5.使用Netty非I/O线程池的正确姿势 1.Netty的NIO线程常见的阻塞场景 知道一个大前提:Netty的ChannelHandler是业务代码和Netty框架交汇的地方(关于pipeline机制的细节后续专题分析,先知道即可),ChannelHandler里的业务逻辑,正常来说是由NioEve

weixin_42030357的博客 1131

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

Netty必知必会(二)—— I/O 模型和线程模型

决定着用什么样的通道将数据发送给对方,BIO、NIO 或者 AIO,IO 模型在很大程度上决定了框架的性能。决定着数据报如何读取?读取之后的编解码在哪个线程进行,编解码后的消息如何派发,Reactor 线程模型的不同,对性能的影响非常大。

weixin_68074170的博客 1089

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

I/O模型BIO,NIO,AIO及其演化与Netty原理精讲,Netty线程模型

一 Java I/O模型 1 BIO(Blocking IO) BIO是同步阻塞模型,一个客户端连接对应一个处理线程。在BIO中,accept和read方法都是阻塞操作,如果没有连接请求,accept方法阻塞;如果无数据可读取,read方法阻塞。 2 NIO(Non Blocking IO) NIO是同步非阻塞模型,服务端的一个线程可以处理多个请求,客户端发送的连接请求注册在多路复用器Selector上,服务端线程通过轮询多路复用器查看是否有IO请求,有则进行处理。 NIO的三大核心组件: Buff

weixin_42127238的博客 2023

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Netty支持的三种I/O模式

1 经典I/0模式 1.1 类比 饭店->服务器 饭菜->数据 饭菜好了->数据就绪 端菜/送菜->数据读取 排队打饭模式 BIO (阻塞I/0) JDK1.4之前 点单、等待被叫模式 NIO (非阻塞1/0) JDK1.4 (2002 年,java.nio 包) 包厢模式 AIO(异步 I/O) JDK1.7 (2011 年) 1.2 对比概念 阻塞与非阻塞 菜没好,要不要死等->数据就绪前要不要等待? 阻塞:没有数据传过来时,读会阻塞直到有数据

JavaEdge全是干货的技术号 1560

Netty进阶之路-JDK业务线程池

Netty进阶之路-JDK业务线程池前言JDK业务线程池分析JDK业务线程池实现 前言 之前我们说了有2种思路解决服务端处理耗时的业务,第一种EventExecutorGroup,第二钟就是采用DK业务线程池 JDK业务线程池分析 和EventExecutorGroup不同,I/O线程会将业务放入到jdk线程中执行,writeAndFlush之后再放入I/O线程中。如果是一个长连接,业务非常耗时可...

a294634473的博客 2052

Netty技术架构和Netty线程模型

采用异步非阻塞的I/O类库,基于Reactor模型实现,解决了BIO模式下一个服务器无法平滑的处理客户端数量线性增长的问题;TCP接受和发送缓冲区使用直接内存代替堆内存,避免了内存复制,提高了I/O读取和写入的性能;支持通过内存池的方式循环利用ByteBuf,避免了频繁创建和销毁ByteBuf带来的性能损耗;可配置的I/O线程数、TCP参数等,为不同的场景提供不同的定制化方案,满足不能的性能场景。采用环形缓冲区实现无锁化并发编程,代替传统的线程安全器或者锁;

m0_74440466的博客 881
上一篇: 2018 年你不能错过的 Java 类库
下一篇: 一个简单的分布式事务系统的实现(订单系统)
公众号-芋道源码
博客等级 码龄10年 1637粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值