开源网络库boost.asio，libevent，mongoose学习记录以及多线程模式的实现

 

目录

IO操作：

 IO多路复用（select，poll，epoll）

select:

poll:

epoll:

异步IO（iocp，epoll）

Libevent

Boost.asio

Mongoose

总结：

---

   首先说明一下几个基础概念：     

• IO操作：

IO操作包括两个部分：

      等待数据准备好：对于一个套接口上的操作，这一步骤关系到数据从网络到达，并将其复制到内核的某个缓冲区。

      将数据从内核缓冲区复制到进程缓冲区。

同步IO和异步IO:

同步IO导致请求进程阻塞，直到IO操作完成；

异步IO不导致请求进程阻塞。

•  IO多路复用（select，poll，epoll）

             使用c++进行网络开发，socket几乎是一切技术的基石。最简单的socket套接字用法就是listen后调用accept阻塞等待客户端的连接，每当有一个连接到来的时候，创建子套接字对连接进行处理，因为网络传输中最影响性能的是IO的读写，这样的话如果短时间内有多个连接请求，socket只能一个一个的去处理。前一个IO进行读写的时候，因为进程阻塞，accept是没法准备接收下一个连接的。

               这种情况有个简单的解决方式，就是accept返回后，在新的线程中进行数据收发，这样主线程里面的accept可以继续接收下一个客户端连接请求。这种方式可以同时处理多个IO，但是会产生创建销毁进程的开销，特别是在短任务的情况下开销会更大。

              IO多路复用可以在单个线程内监听多个socket连接请求，此模型用到select和poll函数，这两个函数也会使进程阻塞，select先阻塞，有活动套接字才返回，但是和阻塞I/O不同的是，这两个函数可以同时阻塞多个I/O操作，而且可以同时对多个读操作，多个写操作的I/O函数进行检测，直到有数据可读或可写（就是监听多个socket）。select被调用后，进程会被阻塞，内核监视所有select负责的socket，当有任何一个socket的数据准备好了，select就会返回套接字可读，我们就可以调用recvfrom处理数据。正因为阻塞I/O只能阻塞一个I/O操作，而I/O复用模型能够阻塞多个I/O操作，所以才叫做多路复用。

              select，poll，epoll都是IO多路复用的机制。I/O多路复用就通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的。

select:

select系统调用的目的是：在一段指定时间内，监听用户感兴趣的文件描述符上的可读、可写和异常事件。poll和select应该被归类为这样的系统 调用：它们可以阻塞地同时探测一组连接请求，直至某一个设备触发了事件或者超过了指定的等待时间——也就是说它们的职责不是做IO，而是帮助调用者寻找当前就绪的设备。 

IO多路复用模型是建立在内核提供的多路分离函数select基础之上的，使用select函数可以避免同步非阻塞IO模型中轮询等待的问题。

​

   

select的优点：可以在一个线程上同时监听多个连接请求。

select的几大缺点：

（1）每次调用select，都需要把fd集合（文件描述符）从用户态拷贝到内核态，这个开销在fd很多时会很大

（2）同时每次调用select都需要在内核遍历传递进来的所有fd，这个开销在fd很多时也很大

（3）select支持的文件描述符数量太小了，默认是1024

poll:

　　poll的实现和select非常相似，只是描述fd集合的方式不同，poll使用pollfd结构而不是select的fd_set结构，poll支持的文件描述符数量没有限制，其他的都差不多。

epoll:

　　epoll既然是对select和poll的改进，就应该能避免上述的三个缺点。那epoll都是怎么解决的呢？在此之前，我们先看一下epoll和select和poll的调用接口上的不同，select和poll都只提供了一个函数——select或者poll函数。而epoll提供了三个函数，epoll_create,epoll_ctl和epoll_wait，epoll_create是创建一个epoll句柄；epoll_ctl是注册要监听的事件类型；epoll_wait则是等待事件的产生。

　　对于第一个缺点，epoll的解决方案在epoll_ctl函数中。每次注册新的事件到epoll句柄中时（在epoll_ctl中指定EPOLL_CTL_ADD），会把所有的fd拷贝进内核，而不是在epoll_wait的时候重复拷贝。epoll保证了每个fd在整个过程中只会拷贝一次。

　　对于第二个缺点，epoll的解决方案不像select或poll一样每次都把current轮流加入fd对应的设备等待队列中，而只在epoll_ctl时把current挂一遍（这一遍必不可少）并为每个fd指定一个回调函数，当设备就绪，唤醒等待队列上的等待者时，就会调用这个回调函数，而这个回调函数会把就绪的fd加入一个就绪链表）。epoll_wait的工作实际上就是在这个就绪链表中查看有没有就绪的fd（利用schedule_timeout()实现睡一会，判断一会的效果，和select中的实现是类似的）。

　　对于第三个缺点，epoll没有这个限制，它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左右，具体数目在linux上可以cat /proc/sys/fs/file-max察看,一般来说这个数目和系统内存关系很大。

select，poll实现需要自己不断轮询所有fd集合，直到设备就绪，期间可能要睡眠和唤醒多次交替。而epoll其实也需要调用epoll_wait不断轮询