深入linux网络编程（三）：异步阻塞IO —— epoll

作者：yurunsun@gmail.com 新浪微博@孙雨润 新浪博客 优快云博客日期：2012年11月17日

1. epoll的优越性

上一节介绍的select有几个缺点：

• 存在最多监听的描述符上限FD_SETSIZE
• 每次被唤醒时必须遍历才能知道是哪个描述符上状态ready，CPU随描述符数量线性增长
• 描述符集需要从内核copy到用户态

这几个缺点反过来正是epoll的优点，或者说epoll就是为了解决这些问题诞生的：

• 没有最多监听的描述符上限FD_SETSIZE，只受最多文件描述符的限制，在系统中可以使用ulimit -n设置，运维一般会将其设置成20万以上
• 每次被唤醒时返回的是所有ready的描述符，同时还带有ready的类型
• 内核态与用户态共享内存，不需要copy

2. 简述epoll的工作过程

2.1 创建

首先由epoll_create创建epoll的实例，返回一个用来标识此实例的文件描述符。

2.2 控制

通过epoll_ctl注册感兴趣的文件描述符，这些文件描述符的集合也被称为epoll set。

2.3 阻塞

最后调用epoll_wait阻塞等待内核通知。

3. 水平触发(LB)和边缘触发(EB)

epoll的内核通知机制有水平触发和边缘触发两种表现形式，我们在下面例子中看一下两者的区别。

• 有一个代表读的文件描述符(rfd)注册在epoll上

• 在管道的写端，写者写入了2KB数据

• 调用epoll_wait会返回rfd作为ready的文件描述符

• 管道读端从rfd读取了1KB数据

• 再次调用epoll_wait

如果rfd文件描述符以ET的方式加入epoll的描述符集，那么上边最后一步就会继续阻塞，尽管rfd上还有剩余的数据没有读完。相反LT模式下，文件描述符上数据没有读完就会一直通知下去。

4. epoll的两个数据结构

4.1 epoll_event

1. struct epoll_event {
2. uint32_t events; /* Epoll events */
3. epoll_data_t data; /* User data variable */
4. };

参数events：

此参数是一个位集合，可能有以下几种中的组合：

• EPOLLIN：适用read操作，包括对端正常关闭

• EPOLLOUT：适用write操作

• EPOLLRDHUP ：TCP对端关闭了连接

• EPOLLPRI：对于read操作有紧急的数据到来

• EPOLLERR：文件描述符上的错误，不需要设置在events上，因为epoll总是会等待错误

• EPOLLHUP：与上边EPOLLERR相同

• EPOLLET：设置边缘触发方式

• EPOLLONESHOT：只监听一次事件，当监听完这次事件之后，如果还需要继续监听这个socket的话，需要再次把这个socket加入到EPOLL队列里

4.2 epoll_data

1. typedef union epoll_data {
2. void *ptr;
3. int fd;
4. uint32_t u32;
5. uint64_t u64;
6. } epoll_data_t;

这个结构体有些tricky，是四种不同数据类型的union，实际上设计者的意思是内容是什么交给使用者决定，相当于一个上下文。一般使用int fd来区分是哪个socket发生的事件。

5. API详解

5.1 epoll_create

1. int epoll_create(int size);
2. int epoll_create1(int flags);

epoll_create创建了一个epoll的实例，请求内核为size大小的文件描述符分配一个事件通知对象。实际上size只是一个提示，并没有什么实际的作用。此函数返回用来标识epoll实例的文件描述符，此后所有对epoll的请求都要通过这个文件描述符。当不需要使用epoll时需要使用close关闭这个文件描述符，告诉内核销毁实例。

5.2 epoll_ctl

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

在epoll实例epfd上的控制操作，op的取值有以下三种：

• EPOLL_CTL_ADD: 将fd带着事件参数event注册到epfd上

• EPOLL_CTL_MOD: 改变事件

• EPOLL_CTL_DEL: 从epfd上删除

返回的错误码请参阅man手册。

5.3 epoll_wait

int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);

等待注册在epfd上的事件，事件再events参数中带出。对于timeout参数：

• -1：永远等待
• 0：不等待直接返回
• 其他：在超时时间内没有事件发生，返回0

6. 完整C++代码示例

与上节一样，网上的epoll代码基本都是已C语言方式写在同一个main函数中，本人实现了一个完全正确的、可读性好的版本。除了将select替换成了epoll，其他细节还有些变化，例如将sockaddr_in替换成了现代气息的addrinfo，支持ipv4/ipv6等等。

上一节中按照工程习惯，在SelectServer类中增加了虚函数回掉接口，供派生类实现。有读者反应会冲淡主题，在这个EpollServer中没再继续设计虚函数接口。猛击此处下载源码。

6.1 stdafx.h

1. #ifndef STDAFX_H
2. #define STDAFX_H
4. #include <cstdio>
5. #include <cstdlib>
6. #include <cstring>
7. #include <string>
8. #include <iostream>
9. #include <sys/types.h>
10. #include <sys/socket.h>
11. #include <netdb.h>
12. #include <unistd.h>
13. #include <fcntl.h>
14. #include <sys/epoll.h>
15. #include <errno.h>
17. #endif // STDAFX_H

6.2 epollserver.h

1. #ifndef EPOLLSERVER_H
2. #define EPOLLSERVER_H
4. /**
5. * @brief The EpollServer class
6. * @author yurunsun@gmail.com
7. */
9. class EpollServer
10. {
11. public:
12. EpollServer();
13. ~EpollServer();
14. bool _listen( const std:: string &port);
15. bool pulse();
17. private:
18. bool setUnblock(int socket);
19. bool createEpoll();
20. bool addEpoll(int socket, epoll_event &e);
21. bool isEpollError(const epoll_event& e);
22. bool isEpollNewConnection(const epoll_event& e);
23. bool _error( const epoll_event& e);
24. bool _accept(epoll_event &e);
25. bool _receive( const epoll_event& e);
26. bool _send( int clientFd, const std:: string& data);
27. bool removeClient(int clientFd);
29. addrinfo m_serverAddr; /** server address */
30. int m_listenerSocket; /** listening socket descriptor */
31. int m_epollFd; /** epoll operation fd */
32. epoll_event m_epollEvent; /** epoll event*/
33. epoll_event* m_pEpollEvents; /** epoll events buffer to hold notification from kernal*/
34. char m_readBuf[ 1024]; /** buffer for client data */
35. };
37. #endif // EPOLLSERVER_H

6.3 epollserver.cpp

1. #include "stdafx.h"
2. #include "epollserver.h"
4. using namespace std;
5. #define MAXEVENTS 64
7. EpollServer::EpollServer()
8. : m_pEpollEvents( NULL)
9. {
10. }
12. EpollServer::~EpollServer()
13. {
14. if (m_pEpollEvents != NULL) {
15. delete [] m_pEpollEvents;
16. }
17. }
19. bool EpollServer::_listen( const string& port)
20. {
21. cout << "try to listen port " << port << endl;
22. addrinfo *pResult = NULL;
23. memset(&(m_serverAddr), '\0', sizeof(m_serverAddr));
24. m_serverAddr.ai_family = AF_UNSPEC; /** Return IPv4 and IPv6 choices */
25. m_serverAddr.ai_socktype = SOCK_STREAM; /** We want a TCP socket */
26. m_serverAddr.ai_flags = AI_PASSIVE; /** All interfaces */
28. if (getaddrinfo( NULL, port.c_str(), &m_serverAddr, &pResult) != 0) {
29. cerr << "fail to getaddrinfo!" << endl;
30. return false;
31. }
32. if (pResult != NULL) {
33. for (addrinfo *pRes = pResult; pRes != NULL; pRes = pRes->ai_next) {
34. if ((m_listenerSocket = socket (pRes->ai_family, pRes->ai_socktype, pRes->ai_protocol)) == -1) {
35. cerr << "fail to create socket for " << pRes->ai_family << " " << pRes->ai_socktype << " " << pRes->ai_protocol << endl;
36. continue;
37. }
38. if (bind(m_listenerSocket, pRes->ai_addr, pRes->ai_addrlen) == -1) {
39. cerr << "fail to bind " << m_listenerSocket << " " << pRes->ai_addr << " " << pRes->ai_addrlen << endl;
40. close(m_listenerSocket);
41. continue;
42. }
43. freeaddrinfo(pResult);
44. setUnblock(m_listenerSocket);
45. if (listen (m_listenerSocket, SOMAXCONN) == -1) {
46. cerr << "fail to listen " << m_listenerSocket << endl;
47. } else {
48. cout << "listen port " << port << " ok! " << endl;
49. return createEpoll(); /** We managed to bind successfully! */
50. }
51. }
52. }
53. return false;
54. }
56. bool EpollServer::pulse()
57. {
58. int n = epoll_wait(m_epollFd, m_pEpollEvents, MAXEVENTS, -1);
59. for ( int i = 0; i < n; ++i) {
60. epoll_event& e = m_pEpollEvents[i];
61. if (isEpollError(e)) {
62. _error(e);
63. } else if (isEpollNewConnection(e)) {
64. _accept(e);
65. } else {
66. _receive(e);
67. }
68. }
69. return true;
70. }
72. bool EpollServer::setUnblock( int socket)
73. {
74. int flag = 0;
75. if ((flag = fcntl(socket, F_GETFL, 0)) != -1) {
76. flag |= O_NONBLOCK;
77. if (fcntl (socket, F_SETFL, flag) != -1) {
78. return true;
79. }
80. }
81. cerr << "fail to call fcntl F_SETFL for m_listenerSocket" << endl;
82. return false;
83. }
85. bool EpollServer::createEpoll()
86. {
87. cout << "try to creat epoll" << endl;
88. if ((m_epollFd = epoll_create1( 0)) == -1) {
89. cerr << "fail to call epoll_create" << endl;
90. return false;
91. }
92. m_epollEvent.data.fd = m_listenerSocket;
93. m_epollEvent.events = EPOLLIN | EPOLLET;
94. if (addEpoll(m_listenerSocket, m_epollEvent)) {
95. m_pEpollEvents = new epoll_event[MAXEVENTS];
96. cout << "create epoll ok!" << endl;
97. return true;
98. }
99. return false;
100. }
102. bool EpollServer::addEpoll( int socket, epoll_event& e)
103. {
104. if ((epoll_ctl (m_epollFd, EPOLL_CTL_ADD, socket, &e)) == -1) {
105. cerr << "fail to call epoll_ctl for " << socket << endl;
106. return false;
107. }
108. return true;
109. }
111. bool EpollServer::isEpollError( const epoll_event &e)
112. {
113. return ((e.events & EPOLLERR) || (e.events & EPOLLHUP) || (!(e.events & EPOLLIN)));
114. }
116. bool EpollServer::isEpollNewConnection( const epoll_event &e)
117. {
118. return (m_listenerSocket == e.data.fd);
119. }
121. bool EpollServer::_error( const epoll_event &e)
122. {
123. /** An error has occured on this fd, or the socket is not ready for reading */
124. cerr << "epoll error for client " << e.data.fd << endl;
125. removeClient(e.data.fd);
126. return true;
127. }
129. bool EpollServer::_accept(epoll_event &e)
130. {
131. cout << "a new client is coming - " << e.data.fd << endl;
132. sockaddr clientAddr;
133. int clientFd = 0;
134. socklen_t clientAddrLen = sizeof (clientAddr);
135. char hbuf[NI_MAXHOST], sbuf[NI_MAXSERV];
137. if ((clientFd = accept (m_listenerSocket, &clientAddr, &clientAddrLen)) == -1) {
138. if ((errno != EAGAIN) && (errno != EWOULDBLOCK)) {
139. cerr << "fail to accept new client " << endl;
140. return false;
141. }
142. }
143. if (getnameinfo (&clientAddr, clientAddrLen, hbuf, sizeof(hbuf), sbuf, sizeof(sbuf), NI_NUMERICHOST | NI_NUMERICSERV) == -1) {
144. cerr << "fail to getnameinfo" << endl;
145. }
146. if (!setUnblock(clientFd)) {
147. cerr << "fail to set unblock to client fd" << clientFd << endl;
148. return false;
149. }
150. e.data.fd = clientFd;
151. e.events = EPOLLIN | EPOLLET;
152. return addEpoll(clientFd, e);
153. }
155. bool EpollServer::_receive( const epoll_event &e)
156. {
157. int clientFd = e.data.fd;
158. uint32_t nbytes = recv(clientFd, m_readBuf, sizeof(m_readBuf), 0);
159. cout << "receive " << nbytes << " bytes data from client " << clientFd << endl;
160. if (nbytes > 0) { /** we got some data from a client*/
161. string data(m_readBuf, nbytes);
162. _send( 1, data);
163. _send(clientFd, data);
164. } else {
165. cout << "socket " << clientFd << " has sth wrong since nbytes == " << nbytes << endl;
166. removeClient(clientFd);
167. }
168. return true;
169. }
171. bool EpollServer::_send( int clientFd, const std:: string &data)
172. {
173. if (write(clientFd, data.c_str(), data.size()) == -1) {
174. cerr << "fail to send data to " << clientFd << endl;
175. return false;
176. }
177. return true;
178. }
180. bool EpollServer::removeClient( int clientFd)
181. {
182. cout << "remove client " << clientFd << endl;
183. close (clientFd);
184. return true;
185. }

6.4 main.cpp

1. #include "stdafx.h"
2. #include "epollserver.h"
4. using namespace std;
6. int main(int argc, char* argv[])
7. {
8. if (argc >= 2) {
9. EpollServer server;
10. if (server._listen(argv[ 1])) {
11. while (server.pulse()) {
12. usleep( 1000);
13. }
14. }
15. } else {
16. cout << "Usage: [port]" << endl;
17. }
18. return 0;
19. }

6.5 qmake工程文件epoll.pro

1. ######################################################################
2. # Automatically generated by qmake (2.01a) Fri Nov 16 18:01:16 2012
3. ######################################################################
5. TEMPLATE = app
6. TARGET =
7. DEPENDPATH += .
8. INCLUDEPATH += .
9. CONFIG -= qt
10. PRECOMPILED_HEADER += stdafx.h
12. # Input
13. SOURCES += main.cpp epollserver.cpp
14. HEADERS += epollserver.h

编译方法：

1. qmake epoll .pro
2. make

---

• 如果这篇文章对您有帮助，请到优快云博客留言；
• 转载请注明：来自雨润的技术博客 http://blog.youkuaiyun.com/sunyurun