【Netty 专栏】Netty入门简介

一次 Netty 不健壮导致的无限重连分析 开发的同学反馈 dubbo 客户端无法调用远程的服务,抓包来看,客户端一直在建连,每次建连成功 3 秒以后就主动断开连接。 阅读详情

点击上方“芋道源码”,选择“置顶公众号”

技术文章第一时间送达!

源码精品专栏

 

前言

Netty是一个高性能、异步事件驱动的NIO框架,提供了对TCP、UDP和文件传输的支持,作为一个异步NIO框架,Netty的所有IO操作都是异步非阻塞的,通过Future-Listener机制,用户可以方便的主动获取或者通过通知机制获得IO操作结果。

作为当前最流行的NIO框架,Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用,一些业界著名的开源组件也基于Netty构建,比如RPC框架、zookeeper等。

不熟悉NIO的可以先看看下面两篇文章 

1、深入浅出NIO之Channel、Buffer 

2、深入浅出NIO之Selector实现原理

那么,Netty性能为啥这么高?主要是因为其内部Reactor模型的实现。

Reactor模型

Netty中的Reactor模型主要由多路复用器(Acceptor)、事件分发器(Dispatcher)、事件处理器(Handler)组成,可以分为三种。

1、单线程模型:所有I/O操作都由一个线程完成,即多路复用、事件分发和处理都是在一个Reactor线程上完成的。

对于一些小容量应用场景,可以使用单线程模型。但是对于高负载、大并发的应用却不合适,主要原因如下:

  • 一个线程同时处理成百上千的链路,性能上无法支撑,即便CPU负荷达到100%,也无法满足海量消息的编码、解码、读取和发送;

  • 当负载过重后,处理速度将变慢,这会导致大量客户端连接超时,超时之后往往会进行重发,最终会导致大量消息积压和处理超时,成为系统的性能瓶颈;

  • 一旦单线程意外跑飞,或者进入死循环,会导致整个系统通信模块不可用,不能接收和处理外部消息,造成节点故障,可靠性不高。

2、多线程模型:为了解决单线程模型存在的一些问题,演化而来的Reactor线程模型。

多线程模型的特点:

  • 有专门一个Acceptor线程用于监听服务端,接收客户端的TCP连接请求;

  • 网络IO的读写操作由一个NIO线程池负责,线程池可以采用标准的JDK线程池实现,包含一个任务队列和N个可用的线程,由这些NIO线程负责消息的读取、解码、编码和发送;

  • 一个NIO线程可以同时处理多条链路,但是一个链路只能对应一个NIO线程,防止发生并发操作问题。

在绝大多数场景下,Reactor多线程模型都可以满足性能需求;但是,在极特殊应用场景中,一个NIO线程负责监听和处理所有的客户端连接可能会存在性能问题。例如百万客户端并发连接,或者服务端需要对客户端的握手消息进行安全认证,认证本身非常损耗性能。在这类场景下,单独一个Acceptor线程可能会存在性能不足问题,为了解决性能问题,产生了第三种Reactor线程模型-主从Reactor多线程模型。

3、主从多线程模型:采用多个reactor,每个reactor都在自己单独的线程里执行。如果是多核,则可以同时响应多个客户端的请求,一旦链路建立成功就将链路注册到负责I/O读写的SubReactor线程池上。

事实上,Netty的线程模型并非固定不变,在启动辅助类中创建不同的EventLoopGroup实例并通过适当的参数配置,就可以支持上述三种Reactor线程模型。正是因为Netty对Reactor线程模型的支持提供了灵活的定制能力,所以可以满足不同业务场景的性能需求。

示例代码

以下是server和client的示例代码,其中使用的是 Netty 4.x,先看看如何实现,后续会针对各个模块进行深入分析。

server 代码实现


   
  1. public class EchoServer {

  2.    private final int port;

  3.    public EchoServer(int port) {

  4.        this.port = port;

  5.    }

  6.    public void run() throws Exception {

  7.        // Configure the server.

  8.        EventLoopGroup bossGroup = new NioEventLoopGroup();  // (1)

  9.        EventLoopGroup workerGroup = new NioEventLoopGroup();  

  10.        try {

  11.            ServerBootstrap b = new ServerBootstrap(); // (2)

  12.            b.group(bossGroup, workerGroup)

  13.             .channel(NioServerSocketChannel.class) // (3)

  14.             .option(ChannelOption.SO_BACKLOG, 100)

  15.             .handler(new LoggingHandler(LogLevel.INFO))

  16.             .childHandler(new ChannelInitializer<SocketChannel>() { // (4)

  17.                 @Override

  18.                 public void initChannel(SocketChannel ch) throws Exception {

  19.                     ch.pipeline().addLast(

  20.                             //new LoggingHandler(LogLevel.INFO),

  21.                             new EchoServerHandler());

  22.                 }

  23.             });

  24.            // Start the server.

  25.            ChannelFuture f = b.bind(port).sync(); // (5)

  26.            // Wait until the server socket is closed.

  27.            f.channel().closeFuture().sync();

  28.        } finally {

  29.            // Shut down all event loops to terminate all threads.

  30.            bossGroup.shutdownGracefully();

  31.            workerGroup.shutdownGracefully();

  32.        }

  33.    }

  34.    public static void main(String[] args) throws Exception {

  35.        int port;

  36.        if (args.length > 0) {

  37.            port = Integer.parseInt(args[0]);

  38.        } else {

  39.            port = 8080;

  40.        }

  41.        new EchoServer(port).run();

  42.    }

  43. }

EchoServerHandler 实现


   
  1. public class EchoServerHandler extends ChannelInboundHandlerAdapter {  

  2.    private static final Logger logger = Logger.getLogger(  

  3.            EchoServerHandler.class.getName());  

  4.    @Override  

  5.    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {  

  6.        ctx.write(msg);  

  7.    }  

  8.    @Override  

  9.    public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {  

  10.        ctx.flush();  

  11.    }  

  12.    @Override  

  13.    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {  

  14.        // Close the connection when an exception is raised.  

  15.        logger.log(Level.WARNING, "Unexpected exception from downstream.", cause);  

  16.        ctx.close();  

  17.    }  

  18. }  

1、NioEventLoopGroup 是用来处理I/O操作的线程池,Netty对 EventLoopGroup 接口针对不同的传输协议提供了不同的实现。在本例子中,需要实例化两个NioEventLoopGroup,通常第一个称为“boss”,用来accept客户端连接,另一个称为“worker”,处理客户端数据的读写操作。 

2、ServerBootstrap 是启动服务的辅助类,有关socket的参数可以通过ServerBootstrap进行设置。 

3、这里指定NioServerSocketChannel类初始化channel用来接受客户端请求。 

4、通常会为新SocketChannel通过添加一些handler,来设置ChannelPipeline。ChannelInitializer 是一个特殊的handler,其中initChannel方法可以为SocketChannel 的pipeline添加指定handler。 

5、通过绑定端口8080,就可以对外提供服务了。

client 代码实现


   
  1. public class EchoClient {  

  2.   

  3.     private final String host;  

  4.     private final int port;  

  5.     private final int firstMessageSize;  

  6.   

  7.     public EchoClient(String host, int port, int firstMessageSize) {  

  8.         this.host = host;  

  9.         this.port = port;  

  10.         this.firstMessageSize = firstMessageSize;  

  11.     }  

  12.   

  13.     public void run() throws Exception {  

  14.         // Configure the client.  

  15.         EventLoopGroup group = new NioEventLoopGroup();  

  16.         try {  

  17.             Bootstrap b = new Bootstrap();  

  18.             b.group(group)  

  19.              .channel(NioSocketChannel.class)  

  20.              .option(ChannelOption.TCP_NODELAY, true)  

  21.              .handler(new ChannelInitializer<SocketChannel>() {  

  22.                  @Override  

  23.                  public void initChannel(SocketChannel ch) throws Exception {  

  24.                      ch.pipeline().addLast(  

  25.                              //new LoggingHandler(LogLevel.INFO),  

  26.                              new EchoClientHandler(firstMessageSize));  

  27.                  }  

  28.              });  

  29.   

  30.             // Start the client.  

  31.             ChannelFuture f = b.connect(host, port).sync();  

  32.   

  33.             // Wait until the connection is closed.  

  34.             f.channel().closeFuture().sync();  

  35.         } finally {  

  36.             // Shut down the event loop to terminate all threads.  

  37.             group.shutdownGracefully();  

  38.         }  

  39.     }  

  40.   

  41.     public static void main(String[] args) throws Exception {  

  42.         final String host = args[0];  

  43.         final int port = Integer.parseInt(args[1]);  

  44.         final int firstMessageSize;  

  45.         if (args.length == 3) {  

  46.             firstMessageSize = Integer.parseInt(args[2]);  

  47.         } else {  

  48.             firstMessageSize = 256;  

  49.         }  

  50.   

  51.         new EchoClient(host, port, firstMessageSize).run();  

  52.     }  

  53. }  

EchoClientHandler 实现


   
  1. public class EchoClientHandler extends ChannelInboundHandlerAdapter {  

  2.   

  3.     private static final Logger logger = Logger.getLogger(  

  4.             EchoClientHandler.class.getName());  

  5.   

  6.     private final ByteBuf firstMessage;  

  7.   

  8.     /** 

  9.      * Creates a client-side handler. 

  10.      */  

  11.     public EchoClientHandler(int firstMessageSize) {  

  12.         if (firstMessageSize <= 0) {  

  13.             throw new IllegalArgumentException("firstMessageSize: " + firstMessageSize);  

  14.         }  

  15.         firstMessage = Unpooled.buffer(firstMessageSize);  

  16.         for (int i = 0; i < firstMessage.capacity(); i ++) {  

  17.             firstMessage.writeByte((byte) i);  

  18.         }  

  19.     }  

  20.   

  21.     @Override  

  22.     public void channelActive(ChannelHandlerContext ctx) {  

  23.         ctx.writeAndFlush(firstMessage);  

  24.     }  

  25.   

  26.     @Override  

  27.     public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {  

  28.         ctx.write(msg);  

  29.     }  

  30.   

  31.     @Override  

  32.     public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {  

  33.        ctx.flush();  

  34.     }  

  35.   

  36.     @Override  

  37.     public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {  

  38.         // Close the connection when an exception is raised.  

  39.         logger.log(Level.WARNING, "Unexpected exception from downstream.", cause);  

  40.         ctx.close();  

  41.     }  

【Netty系列】Netty高性能架构设计以及光速入门 关于这个问题,我贴一段官网的阐述:大概意思是:Netty 是一个 NIO 客户端服务器框架,使用它可以快速简单地开发网络应用程序,比如服务器和客户端的协议。具体来说,Netty就是对于Java NIO 的封装。 阅读详情

相关推荐

专栏总结java8:Socket编程nio—netty快速入门和运行原理

专栏总结java8:Socket编程 nio

黄规速博客:学如逆水行舟,不进则退 900

netty超时问题排查

问题一 客户端超时主动断开连接 nginx 499 导致客户端接受到服务超时的返回。报错预警突增 原因:客户端超时时间比代理服务(backend配置超时)超时时间小,代理的后端服务超时导致调用方大量的请求报错。 排查过程如下 1、 查看apierror.log(这里会记录验证错误的异常) 对比报错陡增前后 apierror中针对具体接口的报错量是否平稳。 本次发现报错前后apierror中......

yangjian_9276的博客 5195

Netty 专栏导读

为什么学Netty 大家好,我是林斌,一名从业8年的技术老兵。Netty 自 2008 年诞生至今,也走过了 10 个年头。一款框架产品能够在 10 年的生命历程中不断演进,不断进化,没有随着时间而销声匿迹,反而被越来越多的人熟知、使用,自有其魅力所在。大体而言,Netty 已经确定了其在 Java 网络领域开发的霸主地位,正如同在企业开发中 Spring 的地位一般。 开发网络应用程序是一个复杂...

kuangzhanshatian的专栏 338

Netty 超时机制及心跳程序实现

本文介绍了 Netty 超时机制的原理,以及如何在连接闲置时发送一个心跳来维持连接。 Netty 超时机制的介绍 Netty 的超时类型 IdleState 主要分为: ALL_IDLE : 一段时间内没有数据接收或者发送 READER_IDLE : 一段时间内没有数据接收 WRITER_IDLE : 一段时间内没有数据发送 在 Netty 的 timeout 包下,主要类有:...

weixin_33935505的博客 618

关于Netty这个专栏

前段时间看到csdn有设置付费专栏的,所以也就斗胆试了一下,到目前应该收到两个朋友的付费,首先感谢这两位朋友。但有几点我想说明下: 1、确实文章里所写的可能是我在开发过程中遇到的问题还有总结。文章写得比较粗糙,还不够系统化; 2、开这个专栏的想法是能吸引更多想学Netty的朋友一起讨论,遇到问题能一起解决; 3、得到朋友们的支持,我会尽量多读点书,多敲点代码,和大家分享,如果有需要,可以联系一起解决。 当然,如果有写得不对的地方,也请各位朋友拍砖,我也会努力改进,谢谢。 ...

jiezhang656的专栏 334

【Windows】 解决联想为主的所有自带摄像头(integrate camera)打不开的毛病(特别点名小新、thinkbook、thinkpad、y7000...)

解决联想系列电脑打不开自带摄像头的问题

Iamruzi的csdn博客 3万+

Netty连接超时处理方法

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 以下处理方法都是基于netty3.5.13版本。 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

alexyangbjb的专栏 9750

Research Proposal:自动驾驶 行人运动预测

Research Proposal about Pedestrian/Cyclist Motion Prediction for Self-Driving Vehicles   If I can be provided with the opportunity to conduct PhD research in pedestrian/cyclist motion prediction for...

Poetry Wanderer的博客 3088

netty专栏导读

netty导读

SO_zxn的博客 285

物料帐配置之 重估消耗

物料帐配置 ML material ledger

SAP刺客的博客 5918

GD32_ADC采样+DMA多通道扫描传输

所使用的MCU 片上集成了 12 位逐次逼近式模数转换器模块(ADC),可以采样来自于 16 个外部通道和 2 个内部通道上的模拟信号。这 18 个 ADC 采样通道都支持多种运行模式,采样转换后,转换结果可以按照最低有效位对齐或最高有效位对齐的方式保存在相应的数据寄存器中。我们主要介绍其多通道扫描转换和DMA传输功能,在多个通道轮询采集ad数据,并使用DMA分别保存各个数据值,其能大大提高ADC的工作效率。以下为ADC 模块框图:

Yin_w的博客 8165

【Netty专栏】六、Netty入门实例

一、代码实例 import io.netty.bootstrap.ServerBootstrap; import io.netty.channel.ChannelFuture; import io.netty.channel.ChannelInitializer; import io.netty.channel.ChannelOption; import io.netty.channel.ni...

明天,争取的博客 468

新手必看:如何用PhaGCN2和vConTACT2搞定宏病毒组注释(附避坑指南)

本文为宏病毒组研究新手提供了使用PhaGCN2和vConTACT2进行病毒注释的完整实战指南。内容涵盖从Conda环境配置、软件安装、参数解析到结果解读的全流程,并重点分享了整合双工具进行交叉验证的策略与常见报错解决方案,旨在帮助研究者高效、准确地完成病毒分类注释工作。

j2k3l4的博客 801

【手撸RPC框架】netty入门

在现代软件开发中,随着微服务架构的普及,远程过程调用(RPC)框架成为了连接服务之间通信的桥梁。我有决定开发了一款高性能的RPC框架,它不仅实现了服务之间的高效调用,还集成了关键的服务治理功能,如负载均衡、熔断机制和限流策略,以确保系统的稳定性和可靠性。核心技术本项目采用Netty作为其强大的底层通信组件,确保了网络通信的高效与稳定。同时,通过与ZooKeeper的结合,实现了服务的注册与发现,为服务治理提供了坚实的基础。

鱼干的博客 1738

如何搭建一个vue项目(完整步骤)

查看版本的两种方式 出现版本号则说明安装成功(最新的以官网为准) 这里注意:安装vue-cli对node.js的版本是有要求的 装的两种方式:输入cmd命令 查看安装的版本(显示版本号说明安装成功) 如果你原来有版本或者版本比较低,可以升级...

m0_67392661的博客 5591

CloudCompare 二次开发(35)——提取多条直线

使用CloudCompare与PCL编程实现的多条空间直线的提取。

点云侠的博客 443

Netty 专栏——Netty 入门案例 TCP服务

使用 Netty 编写简单的 TCP 服务,作为 Netty 入门案例。

御承扬的博客 904

【Cmder】--- Windows11 配置CMD神器 (超详细 持续更新中)

在编程的艺术世界里,代码和灵感需要寻找到最佳的交融点,才能打造出令人为之惊叹的作品。而在这座秋知叶i博客的殿堂里,我们将共同追寻这种完美结合,为未来的世界留下属于我们的独特印记。

秋知叶i 1万+

Netty 专栏——Netty及其核心组件

Netty 专栏第三篇

御承扬的博客 1121

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

精心准备的Netty专栏上线了,欢迎一起来学习

大家好,经过2个月精心的筹备,我的Netty学习专栏上线了。现在预订,还可以享受折扣优惠。并且可以生成自己的分享海报,让其他小伙伴购买25%返现,无封顶。欢迎大家扫码,订阅交流。 ...

kuangzhanshatian的专栏 1034

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

【Netty篇】幽默的讲解带你入门 Netty !建议收藏

解放生产力: 你不用再跟底层NIO那些恶心的细节死磕了 😩,Netty帮你搞定!

qq_56158663的博客 1431

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

Netty实战专栏 | NIO详解

大家好,我是Leo哥🫣🫣🫣,上一篇博客我们主要大致了解了一下Java中IO的演变历程,大体分为基础IO–>BIO–>NIO–>AIO这几个阶段,分部逐层递进。下面几个章节我们就要来聊聊这个变化。本节主要讨论关于NIO的知识。好了,话不多说让我们开始吧😎😎😎。以上便是本文的全部内容,本人才疏学浅,文章有什么错误的地方,欢迎大佬们批评指正!我是Leo,一个在互联网行业的小白,立志成为更好的自己。如果你想了解更多关于Leo,可以关注公众号-程序员Leo,后面文章会首先同步至公众号。

分享思想,留下痕迹。 2万+

Netty(一)Netty简介及环境搭建

Hadoop、Spark、Dubbo、Akka、Elasticsearch等众多知名框架,Alibaba、Facebook、Twitter等知名的公司都使用到了Netty作为底层框架。

gt-it的博客 1713
上一篇: 网关 Spring-Cloud-Gateway 源码解析 —— 路由(1.1)之RouteDefinitionLocator一览
下一篇: Java初中级面试题(3)
公众号-芋道源码
博客等级 码龄10年 1640粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值