tcp 粘包问题

粘包问题：

一、TCP协议简介    
TCP是一个面向连接的传输层协议，虽然TCP不属于ISO制定的协议集，但由于其在商业界和工业界的成功应用，它已成为事实上的网络标准，广泛应用于各种网络主机间的通信。    
作为一个面向连接的传输层协议，TCP的目标是为用户提供可靠的端到端连接，保证信息有序无误的传输。它除了提供基本的数据传输功能外，还为保证可靠性采用了数据编号、校验和计算、数据确认等一系列措施。它对传送的每个数据字节都进行编号，并请求接收方回传确认信息（ACK）。发送方如果在规定的时间内没有收到数据确认，就重传该数据。数据编号使接收方能够处理数据的失序和重复问题。数据误码问题通过在每个传输的数据段中增加校验和予以解决，接收方在接收到数据后检查校验和，若校验和有误，则丢弃该有误码的数据段，并要求发送方重传。流量控制也是保证可靠性的一个重要措施，若无流控，可能会因接收缓冲区溢出而丢失大量数据，导致许多重传，造成网络拥塞恶性循环。TCP采用可变窗口进行流量控制，由接收方控制发送方发送的数据量。    
TCP为用户提供了高可靠性的网络传输服务，但可靠性保障措施也影响了传输效率。因此，在实际工程应用中，只有关键数据的传输才采用TCP，而普通数据的传输一般采用高效率的UDP。    
 
二、粘包问题分析与对策    
TCP粘包是指发送方发送的若干包数据到接收方接收时粘成一包，从接收缓冲区看，后一包数据的头紧接着前一包数据的尾。    
出现粘包现象的原因是多方面的，它既可能由发送方造成，也可能由接收方造成。发送方引起的粘包是由TCP协议本身造成的，TCP为提高传输效率，发送方往往要收集到足够多的数据后才发送一包数据。若连续几次发送的数据都很少，通常TCP会根据优化算法把这些数据合成一包后一次发送出去，这样接收方就收到了粘包数据。接收方引起的粘包是由于接收方用户进程不及时接收数据，从而导致粘包现象。这是因为接收方先把收到的数据放在系统接收缓冲区，用户进程从该缓冲区取数据，若下一包数据到达时前一包数据尚未被用户进程取走，则下一包数据放到系统接收缓冲区时就接到前一包数据之后，而用户进程根据预先设定的缓冲区大小从系统接收缓冲区取数据，这样就一次取到了多包数据（图1所示）。    
粘包情况有两种，一种是粘在一起的包都是完整的数据包（图1、图2所示），另一种情况是粘在一起的包有不完整的包（图3所示），此处假设用户接收缓冲区长度为m个字节。    
不是所有的粘包现象都需要处理，若传输的数据为不带结构的连续流数据（如文件传输），则不必把粘连的包分开（简称分包）。但在实际工程应用中，传输的数据一般为带结构的数据，这时就需要做分包处理。    
在处理定长结构数据的粘包问题时，分包算法比较简单；在处理不定长结构数据的粘包问题时，分包算法就比较复杂。特别是如图3所示的粘包情况，由于一包数据内容被分在了两个连续的接收包中，处理起来难度较大。实际工程应用中应尽量避免出现粘包现象。    
为了避免粘包现象，可采取以下几种措施。一是对于发送方引起的粘包现象，用户可通过编程设置来避免，TCP提供了强制数据立即传送的操作指令push，TCP软件收到该操作指令后，就立即将本段数据发送出去，而不必等待发送缓冲区满；二是对于接收方引起的粘包，则可通过优化程序设计、精简接收进程工作量、提高接收进程优先级等措施，使其及时接收数据，从而尽量避免出现粘包现象；三是由接收方控制，将一包数据按结构字段，人为控制分多次接收，然后合并，通过这种手段来避免粘包。    
以上提到的三种措施，都有其不足之处。第一种编程设置方法虽然可以避免发送方引起的粘包，但它关闭了优化算法，降低了网络发送效率，影响应用程序的性能，一般不建议使用。第二种方法只能减少出现粘包的可能性，但并不能完全避免粘包，当发送频率较高时，或由于网络突发可能使某个时间段数据包到达接收方较快，接收方还是有可能来不及接收，从而导致粘包。第三种方法虽然避免了粘包，但应用程序的效率较低，对实时应用的场合不适合。    
一种比较周全的对策是：接收方创建一预处理线程，对接收到的数据包进行预处理，将粘连的包分开。对这种方法我们进行了实验，证明是高效可行的。    
 

我们都知道，TCP协议是面向流的。面向流是指无保护消息边界的，如果发送端连续发送数据，接收端有可能在一次接收动作中会接收两个或者更多的数据包。 

      那什么是保护消息边界呢？就是指传输协议把数据当做一条独立的消息在网上传输，接收端只能接收独立的消息。也就是说存在保护消息边界，接收端一次只能接收发送端发出的一个数据包。 

     举个例子来说，连续发送三个数据包，大小分别是1k，2k，4k，这三个数据包都已经到达了接收端的缓冲区中，如果使用UDP协议，不管我们使用多大的接收缓冲区去接收数据，则必须有三次接收动作，才能把所有数据包接受完。而使用TCP协议，只要把接收数据的缓冲区大小设置在7kb以上，就能够一次把所有的数据包接收下来，即只需要有一次接收动作。 

     这样问题就来了，由于TCP协议是流传输的，它把数据当作一串数据流，所以他不知道消息的边界，即独立的消息之间是如何被分隔开的。这便会造成消息的混淆，也就是说不能够保证一个Send方法发出的数据被一个Recive方法读取。在讲解缓冲区的时候，我们已经讲过Recive方法是从系统缓冲区上读取数据的，所以只要数据缓冲区的容量足够大，该方法不单单接收第一个包的数据，可能是所有的数据。 

      例如，有两台网络上的计算机，客户机发送的消息是：第一次发送abcde，第二次发送12345，服务器方接收到的可能是abcde12345，即一次性收完；也可能是第一次接收到abc，第二次接收到de123，第三次接收到45. 

      针对这个问题，一般有3种解决方案：

      (1)发送固定长度的消息

      (2)把消息的尺寸与消息一块发送

      (3)使用特殊标记来区分消息间隔

      

下面我们主要分析下前两种方法：

 

1、发送固定长度的消息 
这种方法的好处是他非常容易，而且只要指定好消息的长度，没有遗漏未未发的数据，我们重写了一个SendMessage方法。代码如下： 

  private static int SendMessage(Socket s, byte[] msg) 

        { 
            int offset = 0; 
            int size = msg.Length; 
            int dataleft = size; 

            while (dataleft > 0) 
            { 

                int sent = s.Send(msg, offset, SocketFlags.None); 
                offset += sent; 
                dataleft -= sent; 

            } 

            return offset; 
        } 

简要分析一下这个函数：形参s是进行通信的套接字，msg即待发送的字节数组。该方法使用while循环检查是否还有数据未发送，尤其当发送一个很庞大的数据包，在不能一次性发完的情况下作用比较明显。特别的，用sent来记录实际发送的数据量，和recv是异曲同工的作用，最后返回发送的实际数据总数。 

   有sentMessage函数后，还要根据指定的消息长度来设计一个新的Recive方法。代码如下： 

  private byte[] ReciveMessage(Socket s, int size) 
        { 

            int offset = 0; 
            int recv; 
            int dataleft = size; 
            byte[] msg = new byte[size]; 

            while (dataleft > 0) 

            { 

                //接收消息 
                recv = s.Receive(msg, offset, dataleft, 0); 
                if (recv == 0) 

                { 

                    break; 

                } 
                offset += recv; 
                dataleft -= recv; 

            } 

            return msg; 

        } 

以上这种做法比较适合于消息长度不是很长的情况。 

2、消息长度与消息一同发送

 

我们可以这样做：通过使用消息的整形数值来表示消息的实际大小，所以要把整形数转换为字节类型。下面是发送变长消息的SendMessage方法。具体代码如下： 

  private static int SendMessage(Socket s, byte[] msg) 
        { 

            int offset = 0; 
            int sent; 
            int size = msg.Length; 
            int dataleft = size; 
            byte[] msgsize = new byte[2]; 

            //将消息尺寸从整形转换成可以发送的字节型 
            msgsize = BitConverter.GetBytes(size); 

            //发送消息的长度信息 
            sent = s.Send(size); 

            while (dataleft > 0) 

            { 

                sent = s.Send(msg, offset, dataleft, SocketFlags.None); 

                //设置偏移量 

                offset += sent; 
                dataleft -= sent; 

            } 

            return offset; 

        } 


下面是接收变长消息的ReciveVarMessage方法。代码如下： 

private byte[] ReciveVarMessage(Socket s) 
        { 

            int offset = 0; 
            int recv; 
            byte[] msgsize = new byte[2]; 


            //将字节数组的消息长度信息转换为整形 
            int size = BitConverter.ToInt16(msgsize); 
            int dataleft = size; 
            byte[] msg = new byte[size]; 


            //接收2个字节大小的长度信息 
            recv = s.Receive(msgsize, 0, 2, 0); 
            while (dataleft > 0) 
            { 

                //接收数据 
                recv = s.Receive(msg, offset, dataleft, 0); 
                if (recv == 0) 
                { 
                    break; 
                } 
                offset += recv; 
                dataleft -= recv; 

            } 

            return msg; 

        }