数据接收中粘包及半包的处理

在使用TCP协议的网络应用中,不可避免需要处理的一个问题就是半包和粘包的情况。
    一种做法是在接收端设一个比较大的缓冲区,先将收到的数据包都放到缓冲区中,然后从该缓冲区中选取完整的数据包出来。该缓冲区的实现可以使用环形缓冲区进行优化,避免频繁的数据移动。使用该方法的一个描述见http://www.vckbase.com/document/viewdoc/?id=1203


    另外一种做法就是在接收的时候就只接收完整包。这要求数据包有固定的包头结构体,其中还要包含数据包的长度信息。在服务端接收的时候,先接收该包头数据,然后再接收指定长度的数据体。

    在ACE中,用于保存消息的ACE_Message_Block有一个重要的特性:复合。即将多条消息连接在一起,形成一个单链表。这样便可以将先收到的包头和后收到的包体连成一个复合体,而不用建一个大的数据包,将两个Message_Block拷贝进去。


    下面的示例采用ACE的Proactor框架完成,实现了服务器端半包及粘包的处理,以及ACE_Message_Block的复合,网络IO与逻辑处理的分离。

 

    在Proactor框架中,接收新连接后,会初始化一个读请求,此时只要求读包头长度的数据:
void init_read_stream()
{
    ACE_NEW_NORETURN (recv_data_, ACE_Message_Block (sizeof(PacketHeader), MB_NORMAL_PACKET));
    ACE_HANDLE handle = this->handle ();
    this->recv_data_->copy ((const char *)&handle, sizeof(ACE_HANDLE));
    this->reader_.read (*recv_data_, recv_data_->space ());
}
    这里由于使用了网络IO与逻辑处理分线程处理的方式,递交给逻辑线程的数据包前面还加上了标识网络连接的handle,用以告诉逻辑线程该数据包是哪个客户端连接发上来的。

递交给逻辑线程的数据包头结构为:
struct PacketHeader
{
 ACE_HANDLE handler;
 int data_length;
};
其中data_length就是从接收到的数据包中获取到的。


    对于粘包的情况比较容易处理,
先收了包头后再接收指定长度的数据包,多余的数据由下次再读取。
    半包情况稍微复杂一点,每个数据包是分两次接收的,两次接收的时候都有可能接收不完全。

当接收包头不完全时所做的处理是继续提交读请求,读的数据长度为剩余的包头长度
if (this->recv_data_->length() < sizeof(PacketHeader))
{
    // 数据包长度信息还未接收完
    this->reader_.read (*recv_data_, recv_data_->space ());
    return;
}

当包头接收完后,新建一个Message_Block,长度为需要接收的数据体长度,并将该Message_Block链接到包头后
PacketHeader * hdr = reinterpret_cast<PacketHeader *> (this->recv_data_->rd_ptr());
ACE_Message_Block * data_mb = this->recv_data_->cont();
if (!data_mb)
{
    // 刚刚接收完长度信息
    ACE_NEW (data_mb, ACE_Message_Block(hdr->data_length));
    this->recv_data_->cont (data_mb);
}

如果该数据包的包体接收完全,则将该完整的数据包发送到逻辑线程的消息队列,然后初始化一个新的接收请求
if (data_mb->length () == hdr->data_length)
{
    // 数据已接收完
    // 再继续接收下一个数据包
    logic_thread->putq (recv_data_);
    this->init_read_stream();
    return;
}

否则表示数据体还未接收完全,处理方法也是继续提交剩余数据的读请求
this->reader_.read (*data_mb, data_mb->space ());
直接该数据包读取完全。


数据包接收处理函数的完整实现为:
virtual void handle_read_stream (const ACE_Asynch_Read_Stream::Result &result)
{
 ACE_Message_Block &mb = result.message_block ();
 if (!result.success () || result.bytes_transferred () == 0)
 {
  mb.release ();
  delete this;
 }
 else
 {
  if (this->recv_data_->length() < sizeof(PacketHeader))
  {
   // 数据包长度信息还未接收完
   this->reader_.read (*recv_data_, recv_data_->space ());
   return;
  }

  PacketHeader * hdr = reinterpret_cast<PacketHeader *> (this->recv_data_->rd_ptr());
  ACE_Message_Block * data_mb = this->recv_data_->cont();
  if (!data_mb)
  {
   // 刚刚接收完长度信息
   ACE_NEW (data_mb, ACE_Message_Block(hdr->data_length));
   this->recv_data_->cont (data_mb);
  }

  if (data_mb->length () == hdr->data_length)
  {
   // 数据已接收完
   // 再继续接收下一个数据包
   logic_thread->putq (recv_data_);
   this->init_read_stream();
   return;
  }

  // 否则继续接收该数据包
  this->reader_.read (*data_mb, data_mb->space ());
 }
}


完整的服务器实现和模拟半包及粘包情况的客户端代码见
http://helloqinglan.googlepages.com/repack.rar
服务器仅实现了最简单的数据接收功能,为精减代码,未做错误检查 

.版本 2 .支持库 spec .支持库 sock .程序集 窗口程序集_启动窗口 .子程序 _按钮2_被单击 客户1.发送数据 (取重复字节集 (10000, 到字节集 (“1”)) + 到字节集 (“分隔符”)) 客户1.发送数据 (取重复字节集 (20000, 到字节集 (“2”)) + 到字节集 (“分隔符”)) 客户1.发送数据 (取重复字节集 (30000, 到字节集 (“3”)) + 到字节集 (“分隔符”)) 客户1.发送数据 (取重复字节集 (40000, 到字节集 (“4”)) + 到字节集 (“分隔符”)) 客户1.发送数据 (取重复字节集 (50000, 到字节集 (“5”)) + 到字节集 (“分隔符”)) 客户1.发送数据 (取重复字节集 (60000, 到字节集 (“6”)) + 到字节集 (“分隔符”)) 客户1.发送数据 (取重复字节集 (70000, 到字节集 (“7”)) + 到字节集 (“分隔符”)) 客户1.发送数据 (取重复字节集 (80000, 到字节集 (“8”)) + 到字节集 (“分隔符”)) 客户1.发送数据 (取重复字节集 (90000, 到字节集 (“9”)) + 到字节集 (“分隔符”)) 客户1.发送数据 (取重复字节集 (100000, 到字节集 (“0”)) + 到字节集 (“结尾符”)) .子程序 _服务器1_数据到达 .局部变量 取回数据, 字节集 .局部变量 数据数组, 文本型, , "0" .局部变量 次数, 整数型 .局部变量 临时数据, 字节集, 静态 .局部变量 得到的封, 文本型 取回数据 = 服务器1.取回数据 () .判断开始 (取字节集右边 (取回数据, 6) ≠ 到字节集 (“结尾符”))  ' 6为结尾符的长度;这里检测封是否全部发送完毕,如果没有发送完毕就会把发送来的封数据进行累加     临时数据 = 临时数据 + 取回数据 .默认     临时数据 = 临时数据 + 取回数据  ' 检测到结尾符出现,说明数据已经发送完毕,这里把最后发送来的带有结尾符的数据加上就OK了。     临时数据 = 子字节集替换 (临时数据, 到字节集 (“结尾符”), , 取字节集长度 (临时数据) - 6, 6)  ' 6为结尾符的长度;这里把结尾符替换尾空,剩余数据尾完整的纯净数据。     数据数组 = 分割文本 (到文本 (临时数据), “分隔符”, )  ' 这里把收到的数据进行分割处理,无论服务器发送了多少次,都统一按分隔符分割     调试输出 (“封数量:” + 到文本 (取数组成员数 (数据数组)))     .计次循环首 (取数组成员数 (数据数组), 次数)         得到的封 = 数据数组 [次数]  ' 这里得到分割后的封文本。         调试输出 (“第” + 到文本 (次数) + “个封的大小:” + 到文本 (取文本长度 (得到的封)))  ' 这里的大小上面发送封的大小相同,可以看到封的分割次数。     .计次循环尾 ()     临时数据 = {  } .判断结束 .子程序 __启动窗口_创建完毕 客户1.连接 (取本机名 (), 8888)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值