基于Netty的WebSocket自动解决拆包粘包问题

netty长度协议分包问题 title: netty分包粘包问题 date: 2021-03-30 14:16:33 categories: 并发、netty #分类 tags: [锁netty,并发,分包粘包] #文章标签,可空,多标签请用格式,注意:后面有个空格 description: netty自定义协议,实现分包粘包问题。 typora-copy-images-to: netty 基于长度协议的分包 注:本文 length 均为 16进制表示,eg: 1232 ==> 04D0 文章目录基于长度协议的分包1. 业. 阅读详情

01 引言

我们做了Websocket的案例,并没有像TCP协议一样处理拆包和粘包问题。Websocket基于Frame已经自动帮我们解决了拆包和粘包问题,我们一起来看看是怎么解决的!

02 WebSocketFrame

WebSocketFrame是 Netty 中用于表示 WebSocket 协议数据帧的抽象基类。在 WebSocket 通信中,所有数据(文本、二进制、控制帧等)都通过帧的形式进行传输。

核心属性

// 帧的最终标志位(FIN)
private final boolean finalFragment;

// 保留位(RSV1, RSV2, RSV3)
private final int rsv;

finalFragment参数是解决拆包粘包的关键标志位。

03 处理流程

3.1 调用链

3.2 解码关键类

io.netty.handler.codec.http.websocketx.WebSocket08FrameDecoder

WebSocket协议定义了明确的帧格式,每个帧都有明确的边界标识:

关键字段:

  • FIN位(1位):标识是否是消息的最后一个帧
  • opcode(4位):操作码,标识帧类型(文本、二进制、控制帧等)
  • MASK位(1位):标识是否掩码
  • Payload length(7位):负载长度,自动扩展

而WebSocket08FrameDecoder专门定义了解析帧的字段。

其中关键的代码块:

byte b = in.readByte();
frameFinalFlag = (b & 0x80) != 0;

(b & 0x80) != 0是用于检测某个字节 b 的最高位(即第7位,从右往左数)是否为1。如果为1,则返回true,表示数据已经读完。这里正是解决拆包粘包的关键标志位。

3.3 整个解析流程

  • 长度字段解析:首先读取帧头部,解析payload长度
  • 动态读取:根据长度字段值,读取相应字节数的数据
  • 帧完整性检查:检查FIN位,确定消息是否结束
  • 消息聚合:对于分片消息(FIN=0),自动缓存和重组

04 小结

WebSocket的拆包粘包问题已经妥善解决,开发者只需要配置WebSocketServerProtocolHandler,Netty就会在合适的时机自动创建和配置WebSocket13FrameDecoder。为我们解决困扰,无需手动处理。

WebSocket通信中Netty拆包粘包问题解决方案 TCP协议的流式传输特性导致网络通信中必然存在拆包粘包问题,这是所有基于TCP的应用层协议都需要解决的基础性技术挑战。WebSocket作为实时通信的常用协议,虽然通过帧结构定义了消息边界,但仍需依赖Netty等网络框架正确处理底层字节流。通过分析ByteBuf内存模型和WebSocketFrameDecoder工作原理,可以构建自动处理消息边界的解决方案。这种技术在物联网设备通信、实时聊天系统、在线游戏等场景中具有重要价值,特别是当面对高并发消息推送或大文件传输时,合理的拆包粘包处理能显著提升系统稳定性和 阅读详情

相关推荐

netty解码及粘包问题

最近系统学习了一下netty,netty的框架着实让我上瘾,但是只是系统学习,不深入研究开发的时候也会碰到好多意想不到的问题,无从下手。 学习完netty框架 或者说TCP通讯以后数据传输中粘包问题。至于为什么出现粘包问题这里就不再陈述,能看到这篇博客应该是已经知道原因的。 疑问与答案 相信好多小伙伴都会有这样的问题,不如我使用了某种协议再netty中做开发,比如google的protobuf 或者websocket等等。。我还用不用再去处理粘包问题? 或者说粘包问题底层到底是怎么工作的?有这两个问题或者疑

-韧-的博客 584

Socket粘包分包解析

一.粘包分包现象(来自Unity 3D网络实战一书) 由于TCP协议本身的机制,客户端与服务器会维持一个连接发送数据,如果发送的网络数据包太小,TCP会等待,然后合并较小的数据包在发送,接收端便无法区分哪些数据是发送端自己分开的,因此便会产生粘包现象,或者接收端把数据放到接受缓冲区中,如果数据没有及时从缓冲区取走,下次取数据时可能出现一次取出多个数据包的情况,如例,客户端发送两次数据,服务器一次接受: 客户端 Send: h e l l o 客户端 Send: u n i t y 服务器 Recv :

weixin_43803688的博客 5030

netty搭建tcp服务,粘拆包解决

netty搭建tcp服务,并以相应的编码解决粘包,拆包问题

Netty的应用实践总结(断线重连,心跳,粘包拆包)

前言 最近学习了Net...

法号钦尘的博客 914

netty服务端及客户端,支持HTTP和WEBSOCKET和SSL

自己基于netty开发的服务端,支持spring配置服务器启动模式:http,websocket,ssl等,并支持NIO和OIO方式,项目已应用于生产,可以通过jar形式加入其它项目,业务类实现业务service,启动不依赖于其他应用服务器,内附启动脚本。 已在生产使用,压力未测试,欢迎反馈。 个人原创,部分代码参考网上其他文献。

使用Netty搭建WebSocket服务器,可修改单包大小限制

使用Netty搭建WebSocket服务器,该资源示范如何修改单包大小限制,解决不能发送大数据包的问题。

Netty解决粘包半包问题&自定义协议

Netty进阶篇之网络通信解决粘包半包问题的几种方式以及Netty如何解决的,Netty网络通信怎么用HTTP请求编解码和如何自定义编解码器。

weixin_54232666的博客 2585

大模型-internvl高通qnn运行源码解读

模型链接:https://huggingface.co/OpenGVLab/InternVL2-2B论文官方简要说明 https://internvl.github.io/blog/2024-07-02-InternVL-2.0中文解读 https://zhuanlan.zhihu.com/p/702946079在线demo https://internvl.opengvlab.com/

点滴的岁月 1835

Netty黏包半包解决方案

了解黏包半包发生的原因,了解各个解决方案适用的场景。

前者已逝,后者未至。 2035

VSCode搭配Keil开发STM32:从环境配置到代码跳转全流程(避坑指南)

本文详细介绍了如何使用VSCode搭配Keil进行STM32开发,从环境配置到代码跳转的全流程指南。通过安装必备插件和正确配置项目文件,开发者可以在VSCode中享受现代编辑器的便捷功能,同时保留Keil的编译调试能力,提升嵌入式开发效率。

weixin_28832121的博客 253

STM32H743 ADC多通道采样实战:CubeMX配置+DMA传输避坑指南

本文详细介绍了STM32H743 ADC多通道采样的实战配置,包括CubeMX参数设置、DMA传输优化及常见问题解决方案。重点解析了ADC模块的核心特性、多通道采样序列配置、Cache一致性处理等关键技术,帮助开发者高效实现稳定可靠的模拟信号采集系统。

weixin_29175469的博客 613

基于Netty的websocket的简单介绍

WebSocket」是一种在单个TCP连接上进行全双工通信的协议。「WebSocket」使得客户端和服务器之间的数据交换变得更加简单,允许服务端主动向客户端推送数据。在「WebSocket API」中,浏览器和服务器只需要完成一次握手,两者之间就直接可以创建持久性的连接,并进行双向数据传输。TCP连接是一种可靠的、面向连接的网络通信协议。它通过三次握手建立连接,然后通过数据包的传输和确认来保证数据的可靠性和顺序性。

static_coder的博客 1878

告别OLE!Delphi操作Excel的3种轻量级方案横向评测(FlexCel/XLSReadWriteII/LibXL)

本文深入评测了Delphi操作Excel的三种轻量级方案:FlexCel、XLSReadWriteII和LibXL。通过技术架构、API设计、性能测试和实战案例的全面对比,帮助开发者选择最适合的工具,提升Excel文件处理效率,告别传统OLE方案的依赖和性能问题。

onion的博客 934

《netty实战》读书笔记四---心跳、编码解码、TCP 粘包和拆包 及解决方案

netty心跳 IdelStateHandler http是无状态,Http协议是无状态的, 浏览器和服务器间的请求响应一次,下一次会重新创建连接,webSocket的长连接的全双工的交互,改变Http协议多次请求的约束,实现长连接了, 服务器可以发送消息给浏览器 http传输过程中是分段的,HttpObjectAggregator可以将多个段聚合 浏览器在发送大量数据的时候,就会发出多次...

阿拉斯加大闸蟹的博客 1736

【STM32Cube_14】使用硬件I2C读写环境光强度传感器(BH1750)

本篇详细的记录了如何使用STM32CubeMX配置STM32L431RCT6的硬件I2C外设读取环境光强度传感器数据(BH1750)

Mculover666的博客(嵌入式) 7244

PT:pt write_change to innovus 脚本

我正在「拾陆楼」和朋友们讨论有趣的话题,你⼀起来吧?

m0_61544122的博客 1529

Netty的拆包粘包问题

Netty使用的是TCP/IP协议,必然会遇到拆包粘包的问题,Netty也给出了相关的解决方案,记录下Netty如何解决拆包粘包问题。

flash_love的博客 501

allegro如何设置走线等长

设置走线等长!

weixin_42499230的博客 6939

Java网络编程Netty系列-02 从Reactor模型到粘包拆包全流程解析

Netty是一个高性能异步事件驱动的网络应用框架,用于快速开发高可靠性的网络程序。相比原生NIO,Netty解决了API复杂、多线程编程难度大等问题,提供了统一API、灵活线程模型和高效内存管理等优势。其核心采用主从Reactor多线程模型改进版,通过MainReactor处理连接请求,SubReactor处理I/O事件,结合线程池实现高并发处理。该架构既避免了单线程性能瓶颈,又解决了多线程数据共享的复杂性,支持弹性扩展,被广泛应用于互联网、分布式系统等领域。Netty社区活跃,版本迭代快,是当前最流行的N

yangwei2048的博客 1229

飞牛fnNAS搭建Web网页版OFFICE(WPS)软件

本文介绍了如何在飞牛NAS上通过Docker容器部署WPS Office办公软件。主要内容包括:启用Docker服务、准备项目文件夹结构、使用Compose方式构建容器、解决端口冲突问题、配置中文输入法和字体库,以及通过ZeroTier实现远程访问。文章详细说明了每个步骤的操作方法,包括容器启动、输入法设置、字体添加和文件存储位置配置。最后还介绍了使用ZeroTier内网穿透技术实现远程访问NAS上WPS服务的方法,让用户可以在不同设备上随时编辑NAS中的文件。整个部署过程完整清晰,为NAS用户提供了便捷的

dgnankai的专栏 1705

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

彻底理解Netty,这一篇文章就够了

一、Netty到底是什么1、从HTTP说起有了Netty,你可以实现自己的HTTP服务器,FTP服务器,UDP服务器,RPC服务器,WebSocket服务器,Redis的...

java面试笔试 1万+

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

Netty解决黏包拆包问题

方式三:LengthFieldBasedFrameDecoder + LengthFieldPrepender(自定义 TCP 协议)方式二:WebSocketServerProtocolHandler(用于 WebSocket 协议)特点:自动处理 chunked 分块传输,适合 REST、WebSocket 握手等场景。特点:支持文本帧、二进制帧、Ping/Pong 帧等完整协议特性。作用:使用指定分隔符(如 \r\n 或 $$)来切分消息。特点:适用于简单文本协议,但容易受内容干扰,效率较低。

m0_54712443的博客 470

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

Netty 粘包/拆包、解码工具类

1. 概述1.1 粘包发送 abc def,接收 abcdef原因滑动窗口:假设发送方 256 bytes 表示一个完整报文,但由于接收方处理不及时且窗口大小足够大,这 256 bytes 字节就会缓冲在接收方的滑动窗口中,当滑动窗口中缓冲了多个报文就会粘包Nagle 算法:会造成粘包1.2 半包现象,发送 abcdef,...

weixin_42468911的博客 144

NIO、BIO、AIO、Netty网络编程及websocket实现

网络基础编程及WebSocket实现 什么是Socket? 网络上的两个程序通过一个双向的通信连接实现数据的交换,这个连接的一端称为一个socket。 建立网络通信连接至少要一个端口号。socket本质是编程接口(API),对TCP/IP的封装,TCP/IP也要提供可供程序员做网络开发所用的接口,这就是Socket编程接口;HTTP是轿车,提供了封装或者显示数据的具体形式;Socket是发动...

数据工匠记 5180
上一篇: 基于Netty的WebSocket客户端
下一篇: SpringBoot 3.0新特性:ProblemDetail让错误响应不再头疼
智_永无止境
博客等级 码龄10年 803粉丝 407原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

智_永无止境

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值