TCP粘包处理

最新推荐文章于 2025-08-07 23:58:44 发布
最新推荐文章于 2025-08-07 23:58:44 发布
阅读量2.4k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 开发 C#
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/egostudio/article/details/80832843
本文探讨了protobuf序列化过程中遇到的粘包问题及原因分析。详细解释了TCP协议特性如何导致数据包边界模糊，进而引发序列化数据包大小异常增加的现象。并提出了在程序设计中应对该问题的方法。

使用protobuf序列化数据包的时候报错：ProtoBuf.ProtoException: Invalid wire-type; this usually means you have over-written a file without truncating or setting the length; see http://stackoverflow.com/q/2152978/23354

打印出数据包的大小，发现异常大，之前都是60左右，错误的包是120，翻倍了。

后来发现这就是TCP的粘包现象吧。。。

TCP的数据传输就像一种水流一样，并不区分不同数据包之间的界限。 

TCP协议允许发送端将几次发送的数据包缓存起来合成一个数据包发送到网络上去，因为这样可以获得更高的效率，这一行为通常是在操作系统提供的SOCKET中实现，所以在应用层对此毫无所觉。 

所以我们在程序中调用SOCKET的send发送了数据后操作系统有可能缓存了起来，等待后续的数据一起发送，而不是立即发送出去。send的文档中对此也有说明。

所以应用发送方和接收方需要指定好协议，进行数据拆包。

后面再补充....

C#实现数据采集系统-Tcp粘包处理
海盗Sharp的博客
07-26 743
Tcp通信中会出现粘包的情况，Tcp数据不是完全一收一发，而是会将接收到数据存在一个接收缓冲区，等到调用接收的把数据从缓冲区取出来大部分时候，我们收发消息频率不高，看上去就是发一条，收一条，完整数据；理论上，接收一次，是会出现各种情况，粘包的几种情况示例：比如 modbustcp响应报文，我们查询三次，正常是收到三条下面这样报文123。
Protobuf报错Protocol message tag had invalid wire type
九师兄
07-04 1万+
做李林峰的protobuf版本的图书订购服务这个案例，使用protobuf报错如下 io.netty.handler.codec.DecoderException: com.google.protobuf.InvalidProtocolBufferException$InvalidWireTypeException: Protocol message tag had invalid wire ty...
TCP粘包问题详解与解决方案
笑衬人心的博客
08-07 753
TCP粘包与拆包问题是由于TCP协议面向字节流的特性导致的，发送方可能合并或拆分数据包，接收方无法区分消息边界。常见原因包括Nagle算法、缓冲区读取不及时等。解决方案包括：固定消息长度、添加分隔符、长度前缀（推荐）、或使用高级协议（如Protobuf）。推荐的长度前缀方法在消息头添加长度字段，接收方先读取长度再获取完整数据。理解并解决粘包问题对网络编程至关重要。
lunajson:用纯Lua编写的严格而快速的JSON parserdecoderencoder
05-28
Lunajson具有SAX风格的JSON解析器和简单的JSON解码器/编码器。 在Lua 5.1，Lua 5.2，Lua 5.3，Lua 5.4和LuaJIT 2.0上进行了测试。 它仅用纯Lua编写，没有依赖关系。 即便如此，解码速度仍与基于lpeg的JSON实现相匹配，因为它经过了精心优化。 解析器和解码器拒绝不符合JSON规范（ECMA-404）的输入，并且编码器始终产生一致的输出。 解析器和解码器还可以正确处理UTF / Unicode代理对。 安装 luarocks install lunajson 或者，您可以手动下载源代码并将src/*复制到package.path某个位置。 简单用法 local lunajson = require 'lunajson' local jsonstr = '{"Hello":["lunajson",1.5]}' local t = lun
fengMap蜂鸟免费地图使用时报错：Uncaught Error: invalid wire type xx at offset xx
qq_45327886的博客
04-28 1493
Uncaught Error: invalid wire type xx at offset xx
java,android,(protobuf网络通讯粘包)ProtoBufTest1.0
韩梦飞沙_韩亚飞
11-22 892
在有热情的时候，一定要好好搞 不要到没有热情的时候，在
Protobuf与网络通信，掉线的一部分
qq_35647121的博客
07-02 617
一套结构体可以转换成多种语言 *.proto为扩展名 序列化与反序列化 需要下载一个库，Protobuf-net begingame中的文件引用了common中的的结构体 运行tool 下的protogen.exe 输入*proto文件 输出.cs文件 停止 第一行包体 第二行引用的命名空间 运行这个就生成了 如果报错可以用下...
Netty对Protobuf的解决粘包/半包问题的编解码方案
07-04 6506
protobuf编解码内置方案 解码工具类：ProtobufDecoder+ProtobufVarint32FrameDecoder 编码工具类：ProtobufEncoder+ProtobufVarint32LengthFieldPrepender 原理 代码： 1.user.proto syntax="proto2"; package netty.protobuf; option j...
网络编程基于长度前缀的TCP粘包处理：客户端C++代码实现与发送机制设计
最新发布
08-29
本文将介绍如何使用C++语言和Winsock库在客户端实现基于长度前缀的TCP粘包处理。 首先，客户端初始化Winsock环境，调用`WSAStartup`函数加载Winsock服务。随后，创建一个流式套接字`SOCKET`，并使用`socket`函数...
C#中TCP粘包问题的解决方法
08-30
在TCP/IP通信中，"粘包"问题是一个常见的现象，...总的来说，处理TCP粘包问题需要理解TCP的工作原理，并结合适当的策略来确保数据的正确传输和处理。在实际应用中，通常需要结合具体需求和场景来选择最合适的解决方案。
【QT】自定义协议解决TCP粘包和拆包问题
08-11
在某些需要精确控制数据传输的应用中，如游戏、实时通信等，解决TCP粘包和拆包问题是至关重要的。QT是一个跨平台的C++图形用户界面应用程序开发框架，它提供了丰富的网络编程接口，可以用来处理这个问题。 本文将...
tcp粘包处理-易语言
06-11
易语言作为中国本土的编程语言，提供了处理TCP粘包的机制，以确保数据的正确传输。 TCP粘包现象产生的原因主要有以下几点： 1. **TCP是字节流协议**：TCP并不保证每次接收的数据都是完整的数据包，而是可能将多个...
protobufjs解析buffer报错，invalid wire type 6 at offset 73
weixin_35755188的博客
12-22 2192
protobufjs是一个用于处理Google Protocol Buffers的JavaScript库。当解析缓冲区时报告“invalid wire type 6 at offset 73”错误，通常表明缓冲区中的数据与预期的格式不匹配。 在Protocol Buffers中，所谓的“wire type”是用于指示字段类型的二进制标志。每个字段都有一个相应的wire type，其中0表示vari...
win protobuffer使用简易教程
tterminator的专栏
12-20 5408
一、protocol buffer 下载protocol buffer下载链接 在该页面中请选择下图方框中的链接，这个是win平台下的预编译版本，不然还要自己下载源码编译。 二、编译proto文件时注意事项 命令格式 protoc –java_out=./ *.proto，可以先执行命令”protoc -h”查看命令语法。 编译的Java源代码输出路径写对，尤其是win平台以\为分隔符。 编译时
Protobuf lua 错误：Protocol message tag had invalid wire type
热门推荐
随幻的博客
09-17 2万+
这里只列出本人遇到的情况之一 这种错误我犯了很多次了 很多都是proto文件出的问题 今天被这个protobuf搞蒙了 我弄了一晚上 才发现是一个类似于“公式背错了”的问题 老手应该不会犯这种问题 但是既然有第一个人犯过  那99%的概率就会有第二个人犯过 问题还是出现在proto文件的定义上 每个message中从1开始 而不是文件中的第一个变量从1开始 例如 正确的做法：
protobuf 使用时出现的问题
随幻的博客
09-16 1万+
又是今天 使用protobuf 生成c# 和 lua 文件 以前都好使 今天又不好使了 也是没有报错 但是当lua方面用 ParseFromString的时候报错 ： Protocol message tag had invalid wire type 到网上查也没找到问题的关键所在 经过很长时间的排查  原来 在proto文件中定义出现了问题 这是我的proto： mess
google.protobuf.message.DecodeError: Tag had invalid wire type.
qq_20488317的博客
04-01 1万+
可能问题： 在pb文件读出的时候应该用SerializeToOstream而不是SerializeToString 举例: ofstream foutreq(file.c_str()); if (!req_pb().SerializeToOstream(&foutreq)) { cout << "Failed to write address book.
Protobuf 介绍与实战5：Protobuf版本的helloworld?用protobuf来定义数据结构，作为前后端交互的数据形式？
码二哥的技术池
12-29 1497
本篇文章分享一下，使用protobuf作为前后端数据交换协议的样例。 测试用例说明： 客户端 采用go语言； 服务器端 分别采用Java语言和Go语言进行说明。 1、使用protobuf的一般流程 2、通过proto文件存储数据交换协议 2.1、创建proto文件 创建一个文件，将文件的后缀改成proto即可。(通过什么工具无所谓) 2.2、编写一个helloworld级别的数据交换内容(message) 显示指定protobuf的版本，创建数据结构 到目前为止一个简单的数据结构就定义好
CocoaAsyncSocket + Protobuf 处理粘包和拆包问题
weixin_30873847的博客
04-16 897
在上一篇文章《iOS之ProtocolBuffer搭建和示例demo》分享环境的搭建, 我们和服务器进行IM通讯用了github有名的框架CocoaAsynSocket, 然后和服务器之间的数据媒介是ProtoBuf。然后后面在开发的过程中也碰到了拆包和粘包问题，这方面网上资料很少，曲折了一下才解决，这里分享一下问题的解决过程！ 　　首先描述下碰到的问题： 　　1、服务器发送内容很...
tcp粘包处理
03-25
### 解决TCP粘包问题的方法 #### 方法一：固定长度的消息分隔符 一种常见的解决方法是约定消息的固定长度。发送方按照固定的字节数发送数据，而接收方则按此长度读取数据并解析。 这种方法的优点在于实现简单，缺点则是不够灵活，尤其当消息大小不一致时可能难以满足需求。 ```c #include <stdio.h> #include <string.h> #define MESSAGE_LENGTH 1024 void send_fixed_length_message(int socket_fd, const char *message) { int length = strlen(message); if (length > MESSAGE_LENGTH) { printf("Message too long\n"); return; } // 补齐至固定长度 char buffer[MESSAGE_LENGTH]; memset(buffer, '\0', sizeof(buffer)); strncpy(buffer, message, length); write(socket_fd, buffer, MESSAGE_LENGTH); // 发送固定长度的数据 } char* receive_fixed_length_message(int socket_fd) { static char buffer[MESSAGE_LENGTH]; read(socket_fd, buffer, MESSAGE_LENGTH); // 接收固定长度的数据 return buffer; // 返回接收到的内容 } ``` 上述代码展示了如何通过填充字符使每条消息达到相同长度来避免粘包[^1]。 --- #### 方法二：自定义消息头部结构 另一种更通用的方式是在每次发送数据前先发送一个表示消息体长度的字段作为消息头。这种方式允许动态调整消息大小，灵活性更高。 以下是基于该策略的一个例子： ```c typedef struct MessageHeader { unsigned short msg_len; // 存储后续数据的实际长度 } Header; // 函数用于向套接字写入带长度标记的信息 int send_with_header(int sockfd, const void *data, size_t data_size) { Header header; header.msg_len = htons((unsigned short)data_size); // 将主机序转换成网络序 if (send(sockfd, &header, sizeof(header), 0) == -1 || send(sockfd, data, data_size, 0) == -1) { // 连续两次调用send函数分别传递头部和主体部分 perror("Send failed"); return -1; } return 0; } size_t recv_all(int sock_fd, void *buffer, size_t total_bytes) { size_t received_so_far = 0; while(received_so_far < total_bytes){ ssize_t just_received = recv(sock_fd, ((uint8_t*)buffer)+received_so_far, total_bytes-received_so_far, MSG_WAITALL); if(just_received <= 0){return received_so_far;} received_so_far +=just_received ; } return received_so_far; } // 函数负责从套接字读取消息及其对应的有效载荷 ssize_t recv_with_header(int sockfd,void **payload_ptr,size_t *payload_len_ptr){ Header header; if(recv_all(sockfd,&header,sizeof(Header))!=sizeof(Header)){ fprintf(stderr,"Error reading header.\n"); return -1; } *payload_len_ptr=ntohs(header.msg_len); if(*payload_len_ptr>0){ *payload_ptr=calloc((*payload_len_ptr)+1 ,1 ); // 额外分配空间存储字符串结束标志'\0' if(!recv_all(sockfd,*payload_ptr,*payload_len_ptr)){ free(*payload_ptr); *payload_ptr=NULL; *payload_len_ptr=0; return -1; } }else{ *payload_ptr=NULL; } return (*payload_len_ptr)?1:0; } ``` 以上代码片段实现了带有消息头的通信方式，其中`msg_len`字段用来指示跟随其后的有效负载的具体尺寸[^5]。 --- #### 方法三：特殊分隔符法 还可以采用特定字符序列（如`\r\n\r\n`）作为不同帧之间的界限。不过需要注意的是，如果业务数据中可能出现这些分割符号，则需额外编码处理以防冲突。 例如，在HTTP协议里就是利用空白行(`\r\n\r\n`)区分请求/响应首部与实体内容的边界的实例之一[^3]。 --- ### 总结 针对TCP粘包现象的不同场景可以选择不同的应对措施。对于简单的应用场景可考虑使用定长消息；而对于复杂度较高的环境推荐引入专门设计的消息格式包含必要的元信息以便于双方能够准确无误地完成交互操作[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

鱼蛋-Felix

如果对你有用，可以请我喝杯可乐

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值