socket编程(一)——IO复用及IO复用服务端_socket应该复用ioservice么-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_39540568/article/details/87930004

在网络编程的过程中，一直不太清晰的几个问题：

1、我已经知道一个服务端socket的产生过程为socket()->bind()->listen()->accept(),但是服务端是如何高效的与多个客户端连接这个问题一直没有很清晰的流程？该如何选取使用多线程+非阻塞式(对应每一个链接都要开辟一个线程)还是非阻塞+io复用模式？

2、socket编程过程中,setsocketopt（）函数的主要功能作用是什么？select()的作用是什么(为何能实现多路io复用)？FD_ISSET（）函数的作用又是什么？

3、怎么样才能比较完美的实现tcp应用层的拼包处理？发送和接受是否需要通过队列在不同的线程中去处理？

诸如以上的问题，大部分是由于自己对于socket网络编程的理解不够深入导致，下面尽我所能将我理解的，综合网络上的博客进行记录整理。

在linux系统的socket编程中，常用系统函数主要在<sys/types.h>、<sys/socket.h>、<unistd.h>、<arpa/inet.h>中，下面依次介绍几个重要的系统函数:

A、socket()

int socket(int domain, int type, int protocol);

这个操作类似于打开文件操作，返回socket的socket描述符。

参数：

domain:协议域，又称为协议族(family)。常用的协议族有AF_INET、AF_INET6、AF_LOCAL、AF_ROUTE。协议族决定了socket的地址类型，通信时采用与其相符的地址，AF_INET用ipv4地址(32位)和16位端口号的组合

type：指定socket类型，常用的有SOCK_STREAM、SOCK_DGRAM、SOCK_RAW、SOCK_PACKET、SOCK_SEQPACKET，前两个分别对应TCP和UDP类型的socket

protocol：指定协议，常用有IPPROTO_TCP、IPPTOTO_UDP、IPPROTO_SCTP、IPPROTO_TIPC，协议和socket的类型要匹配。0会选择type对应的默认类型。

示例：

m_listenSocket = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);

B、bind()

int bind(int sockfd, const struct sockaddr *addr, socklen_t addrlen);

把一个地址族的特定地址指定给socket，而不是由系统随机分配.

参数：

sockfd:socket描述符，socket()函数返回的int值

addr:一个地址结构体的const指针，指向要绑定给sockfd的地址，结构体的结构和地址协议相符。

如ipv4的地对应的


struct sockaddr_in {
   sa_family_t    sin_family; /*地址族: AF_INET */
   in_port_t      sin_port;   /*网络字节序的端口号 */
   struct in_addr sin_addr;   /*internet 地址 */
};
 /* Internet 地址. */
struct in_addr {
   uint32_t       s_addr;     /* 网络字节序的地址 */

应该注意使用htol,htos函数将主机字节顺序转换为网络字节顺序，避免潜在的错误。

示例：

socklen_t  addrlen=sizeof(struct sockaddr_in);  
bzero(&ser_addr,addrlen);  
ser_addr.sin_family=AF_INET;  
ser_addr.sin_addr.s_addr=htonl(INADDR_ANY);  
ser_addr.sin_port=htons(SERVER_PORT);  
    if(bind(ser_sockfd,(struct sockaddr*)&ser_addr,sizeof(struct sockaddr_in))<0){ /*绑定失败 */  
            fprintf(stderr,"Bind Error:%s\n",strerror(errno));  
            exit(1);  
    }

C、setsocketopt()

【getsockopt/setsockopt系统调用】

功能描述：
        获取或者设置与某个套接字关联的选项。选项可能存在于多层协议中，它们总会出现在最上面的套接字层。当操作套接字选项时，选项位于的层和选项的名称必须给出。为了操作套接字层的选项，应该将层的值指定为SOL_SOCKET。为了操作其它层的选项，控制选项的合适协议号必须给出。例如，为了表示一个选项由TCP协议解析，层应该设定为协议号TCP。

用法：
#include <sys/types.h>
#include <sys/socket.h>

int getsockopt(int sock, int level, int optname, void *optval, socklen_t *optlen);

int setsockopt(int sock, int level, int optname, const void *optval, socklen_t optlen);

参数：
sock：将要被设置或者获取选项的套接字。
level：选项所在的协议层。
optname：需要访问的选项名。
optval：对于getsockopt()，指向返回选项值的缓冲。对于setsockopt()，指向包含新选项值的缓冲。
optlen：对于getsockopt()，作为入口参数时，选项值的最大长度。作为出口参数时，选项值的实际长度。对于setsockopt()，现选项的长度。

返回说明：

成功执行时，返回0。失败返回-1，errno被设为以下的某个值
EBADF：sock不是有效的文件描述词
EFAULT：optval指向的内存并非有效的进程空间
EINVAL：在调用setsockopt()时，optlen无效
ENOPROTOOPT：指定的协议层不能识别选项
ENOTSOCK：sock描述的不是套接字

参数详细说明：

level指定控制套接字的层次.可以取三种值:
1)SOL_SOCKET:通用套接字选项.
2)IPPROTO_IP:IP选项.
3)IPPROTO_TCP:TCP选项.　
optname指定控制的方式(选项的名称),我们下面详细解释　

optval获得或者是设置套接字选项.根据选项名称的数据类型进行转换　

选项名称　　　　　　　　说明　　　　　　　　　　　　　　　　　　数据类型
========================================================================
　　　　　　　　　　　　SOL_SOCKET
------------------------------------------------------------------------
SO_BROADCAST　　　　　　允许发送广播数据　　　　　　　　　　　　int
SO_DEBUG　　　　　　　　允许调试　　　　　　　　　　　　　　　　int
SO_DONTROUTE　　　　　　不查找路由　　　　　　　　　　　　　　　int
SO_ERROR　　　　　　　　获得套接字错误　　　　　　　　　　　　　int
SO_KEEPALIVE　　　　　　保持连接　　　　　　　　　　　　　　　　int
SO_LINGER　　　　　　　延迟关闭连接　　　　　　　　　　　　　　struct linger
SO_OOBINLINE　　　　　　带外数据放入正常数据流　　　　　　　　　int
SO_RCVBUF　　　　　　　接收缓冲区大小　　　　　　　　　　　　　int
SO_SNDBUF　　　　　　　发送缓冲区大小　　　　　　　　　　　　　int
SO_RCVLOWAT　　　　　　接收缓冲区下限　　　　　　　　　　　　　int
SO_SNDLOWAT　　　　　　发送缓冲区下限　　　　　　　　　　　　　int
SO_RCVTIMEO　　　　　　接收超时　　　　　　　　　　　　　　　　struct timeval
SO_SNDTIMEO　　　　　　发送超时　　　　　　　　　　　　　　　　struct timeval
SO_REUSERADDR　　　　　允许重用本地地址和端口　　　　　　　　　int
SO_TYPE　　　　　　　　获得套接字类型　　　　　　　　　　　　　int
SO_BSDCOMPAT　　　　　　与BSD系统兼容　　　　　　　　　　　　　 int
========================================================================
　　　　　　　　　　　　IPPROTO_IP
------------------------------------------------------------------------
IP_HDRINCL　　　　　　　在数据包中包含IP首部　　　　　　　　　　int
IP_OPTINOS　　　　　　　IP首部选项　　　　　　　　　　　　　　　int
IP_TOS　　　　　　　　　服务类型
IP_TTL　　　　　　　　　生存时间　　　　　　　　　　　　　　　　int
========================================================================
　　　　　　　　　　　　IPPRO_TCP
------------------------------------------------------------------------
TCP_MAXSEG　　　　　　　TCP最大数据段的大小　　　　　　　　　　 int
TCP_NODELAY　　　　　　不使用Nagle算法　　　　　　　　　　　　 int
========================================================================

返回说明：
成功执行时，返回0。失败返回-1，errno被设为以下的某个值
EBADF：sock不是有效的文件描述词
EFAULT：optval指向的内存并非有效的进程空间
EINVAL：在调用setsockopt()时，optlen无效
ENOPROTOOPT：指定的协议层不能识别选项
ENOTSOCK：sock描述的不是套接字

SO_RCVBUF和SO_SNDBUF每个套接口都有一个发送缓冲区和一个接收缓冲区，使用这两个套接口选项可以改变缺省缓冲区大小。

// 接收缓冲区
int nRecvBuf=32*1024; //设置为32K
setsockopt(s,SOL_SOCKET,SO_RCVBUF,(const char*)&nRecvBuf,sizeof(int));

//发送缓冲区
int nSendBuf=32*1024;//设置为32K
setsockopt(s,SOL_SOCKET,SO_SNDBUF,(const char*)&nSendBuf,sizeof(int));

注意：

当设置TCP套接口接收缓冲区的大小时，函数调用顺序是很重要的，因为TCP的窗口规模选项是在建立连接时用SYN与对方互换得到的。对于客户，O_RCVBUF选项必须在connect之前设置；对于服务器，SO_RCVBUF选项必须在listen前设置。

结合原理说明：

        1.每个套接口都有一个发送缓冲区和一个接收缓冲区。接收缓冲区被TCP和UDP用来将接收到的数据一直保存到由应用进程来读。 TCP：TCP通告另一端的窗口大小。 TCP套接口接收缓冲区不可能溢出，因为对方不允许发出超过所通告窗口大小的数据。这就是TCP的流量控制，如果对方无视窗口大小而发出了超过窗口大小的数据，则接收方TCP将丢弃它。 UDP：当接收到的数据报装不进套接口接收缓冲区时，此数据报就被丢弃。UDP是没有流量控制的；快的发送者可以很容易地就淹没慢的接收者，导致接收方的UDP丢弃数据报。
        2.我们经常听说tcp协议的三次握手,但三次握手到底是什么，其细节是什么，为什么要这么做呢?
        第一次:客户端发送连接请求给服务器，服务器接收;
        第二次:服务器返回给客户端一个确认码,附带一个从服务器到客户端的连接请求,客户机接收,确认客户端到服务器的连接.
        第三次:客户机返回服务器上次发送请求的确认码,服务器接收,确认服务器到客户端的连接.
        我们可以看到:
        1. tcp的每个连接都需要确认.
        2. 客户端到服务器和服务器到客户端的连接是独立的.
        我们再想想tcp协议的特点:连接的,可靠的,全双工的,实际上tcp的三次握手正是为了保证这些特性的实现.

3.setsockopt的用法

1.closesocket（一般不会立即关闭而经历TIME_WAIT的过程）后想继续重用该socket：
BOOL bReuseaddr=TRUE;
setsockopt(s,SOL_SOCKET ,SO_REUSEADDR,(const char*)&bReuseaddr,sizeof(BOOL));

2. 如果要已经处于连接状态的soket在调用closesocket后强制关闭，不经历TIME_WAIT的过程：
BOOL bDontLinger = FALSE;
setsockopt(s,SOL_SOCKET,SO_DONTLINGER,(const char*)&bDontLinger,sizeof(BOOL));

3.在send(),recv()过程中有时由于网络状况等原因，发收不能预期进行,而设置收发时限：
int nNetTimeout=1000;//1秒
//发送时限
setsockopt(socket，SOL_S0CKET,SO_SNDTIMEO，(char *)&nNetTimeout,sizeof(int));
//接收时限
setsockopt(socket，SOL_S0CKET,SO_RCVTIMEO，(char *)&nNetTimeout,sizeof(int));

4.在send()的时候，返回的是实际发送出去的字节(同步)或发送到socket缓冲区的字节
(异步);系统默认的状态发送和接收一次为8688字节(约为8.5K)；在实际的过程中发送数据
和接收数据量比较大，可以设置socket缓冲区，而避免了send(),recv()不断的循环收发：
// 接收缓冲区
int nRecvBuf=32*1024;//设置为32K
setsockopt(s,SOL_SOCKET,SO_RCVBUF,(const char*)&nRecvBuf,sizeof(int));
//发送缓冲区
int nSendBuf=32*1024;//设置为32K
setsockopt(s,SOL_SOCKET,SO_SNDBUF,(const char*)&nSendBuf,sizeof(int));

5. 如果在发送数据的时，希望不经历由系统缓冲区到socket缓冲区的拷贝而影响
程序的性能：
int nZero=0;
setsockopt(socket，SOL_S0CKET,SO_SNDBUF，(char *)&nZero,sizeof(nZero));

6.同上在recv()完成上述功能(默认情况是将socket缓冲区的内容拷贝到系统缓冲区)：
int nZero=0;
setsockopt(socket，SOL_S0CKET,SO_RCVBUF，(char *)&nZero,sizeof(int));

7.一般在发送UDP数据报的时候，希望该socket发送的数据具有广播特性：
BOOL bBroadcast=TRUE;
setsockopt(s,SOL_SOCKET,SO_BROADCAST,(const char*)&bBroadcast,sizeof(BOOL));

8.在client连接服务器过程中，如果处于非阻塞模式下的socket在connect()的过程中可以设置connect()延时,直到accpet()被呼叫(本函数设置只有在非阻塞的过程中有显著的作用，在阻塞的函数调用中作用不大)
BOOL bConditionalAccept=TRUE;
setsockopt(s,SOL_SOCKET,SO_CONDITIONAL_ACCEPT,(const char*)&bConditionalAccept,sizeof(BOOL));

9.如果在发送数据的过程中(send()没有完成，还有数据没发送)而调用了closesocket(),以前我们一般采取的措施是"从容关闭"shutdown(s,SD_BOTH),但是数据是肯定丢失了，如何设置让程序满足具体应用的要求(即让没发完的数据发送出去后在关闭socket)？
struct linger {
u_short l_onoff;
u_short l_linger;
};
linger m_sLinger;
m_sLinger.l_onoff=1;//(在closesocket()调用,但是还有数据没发送完毕的时候容许逗留)
// 如果m_sLinger.l_onoff=0;则功能和2.)作用相同;
m_sLinger.l_linger=5;//(容许逗留的时间为5秒)
setsockopt(s,SOL_SOCKET,SO_LINGER,(const char*)&m_sLinger,sizeof(linger));

说明：以下内容转载自博客http://blog.youkuaiyun.com/wqc_csdn/article/details/51583901，侵删

在之前我们实现的并发服务端时通过创建多个进程来实现的，这种并实现并发的方式简单方便，但是进程的创建和销毁是很消耗系统资源的，在访问量大时服务器很容易出现资源不够用的情况。除此之外，由于每个进程有独立的内存空间，所以进程间的通讯也相对比较复杂。因此我们可以考虑通过另一种方式来实现服务端的并发服务——IO复用。

复用：

复用在通讯领域很常见，一般常见”频分复用”,”时分复用”等名词。其实复用就是在一个通信频道内传递多个数据（信号）的技术。以频分复用为例：其实就是在一个通信信道内，发送端通过把信息加载在不同频率的波段上进行发送，而接受端在接受到波时通过滤波装置把各中频率的波进行分离，以此达到提高通信信道利用率的目的。

IO复用：

IO复用其实也是通过对IO描述符的复用来减少进程的创建，使得服务端始终只有一个进程，从而节省了系统资源，提高效率。

select()函数是最具有代表性的实现复用服务端的方法，它可以将多个文件描述符集中到一起进行统一监视，当监视到有文件描述符需要输入或者是输出时就选择该接口进行通讯，通讯完成之后就回到之前监视的状态。

监视内容：是否存在套接字接受数据？无需阻塞传输数据的套接字有哪些？哪些套接字发生了异常？

int select(int maxfd,fd_set *read_set, *write_set,fd_set *except_set, const struct timeval *timeout)选择描述符进行通讯：

maxfd（监视数量）：监视对象文件描述符数量
read_set（读取文件描述符集合的地址）：将所有关注”是否存在待读取数据”的文件描述符注册到fd_set集合中，并传递地址值。也就是说select()函数会监视这个集合里边的文件描述符是是否有待读取的数据，没有要监听的描述符时传0
write_set（写入文件描述符集合的地址）：将所有关注”是否可传输无阻塞数据”的文件描述符注册到fd_set集合中，并传递地址值。也就是说select()函数会监视这个集合里边的文件描述符是否能发送无阻塞数据，没有要监听的描述符时传0
except_set（发生异常文件描述符集合的地址）：将所有关注”是否可发生异常”的文件描述符注册到fd_set集合中，并传递地址值。也就是说select()函数会监视这个集合里边的文件描述符是否发生异常，没有要监听的描述符时传0
timeout（超时）：为防止无限进入阻塞状态，设置一个超时信息

发生错误时返回-1，超时时返回0，当所关注的事件发生时，返回所发生事件的文件描述符数量