目录
一、基础知识
首先要知道，服务器与客户端的网络通信。服务器首先要创建一个socket用于指定需要监听的ip地址和端口。其中主机ip对应了一台主机，而ip+端口对应了一台主机上的某一个应用程序。当服务器将需要监听socket的文件描述符与监听的ip+端口绑定起来时，服务器就可以开启监听。此时客户端便可以连接上服务器这个端口。服务器利用accept查看监听端口中是否有输入事件，如果有就说明有新的客户端连接请求，并会开启一个新的文件描述符用于服务器和客户端的读写操作了。
selelct 模型，poll模型，epoll模型 为网络通信中的IO多路复用方法。是为了提高网络通信并发量和通信效率而生的。除了IO多路复用方法，还可以利用多线程，多进程等方式，但是效果都不如IO多路复用。
select模型,poll模型，epoll模型 首先也要经历创建监听socket，监听socket绑定主机和端口，开启监听，accept客户端连接这些阶段。它们和一般网络通信区别在于如何管理这些多个网络通信连接，使通信过程高效。
在主机上的ip和端口用的是主机字节序，而网络上的通信用的是网络字节序。网络字节序采用大端的方式，即高位字节排放在内存的低地址端(即该值的起始地址),低位字节排放在内存的高地址端。而主机字节序根据CPU种类可能有小端模式或者大端模式。
二、select 模型服务流程
1.select模型在accpet一堆客户端连接后，便把这些与客户端通信的文件描述符放进fd_set进行管理。fd_set是一个bitmap，哪些文件描述符被加入到fd_set中，该文件描述符在fd_set对应的bit位就会置为1.
2.select 函数首先会把fd_set从用户态拷贝进内核态。由内核负责遍历哪一个文件描述符中有数据到达。没有数据就进行阻塞。其中第一个参数 maxfd，用于限定遍历范围，指定从0开始到maxfd之前的文件描述符进行遍历。
3.如果没数据，进程就会进入阻塞状态，并将改进程放入socket的等待队列中。等待客户端把数据发送过来。
4.网卡接受到了一个或多个客户端发来的数据。此时会产生一个中断，并且调用DMA拷贝，将网卡收到的数据，拷贝到内核环形缓冲区，而后再根据文件描述符信息放入对应的数据接收队列中。并唤醒进程。
5.如果遍历中发现了多个客户端通信的文件描述符有接收到数据。那么select 函数就会修改fd_set,将有数据的文件描述符对应的bit位置为1，其他bit位置0. 。而后将修改后的fd_set拷贝会用户态，并return有数据的文件描述符的个数。
6.应用程序可以遍历修改后的fd_set中的bit位，或者遍历文件描述符，判断哪些描述符中有对应的事件发生。而后可以开始与对应的客户端读写数据。
二、select 模式的缺点。
1.由于fd_set是bitmap，通常的最大容量为1024个bit位，意味着最多遍历1024个文件描述符。有最大连接限制。
2.由于fd_set传进select函数中为引用传递，每次循环都要重新赋值fd_set，无法重用。
3。频繁进行用户态和内核态的，当连接多时开销大。
4. 应用程序的轮询就绪的文件描述符的时间复杂度为O(n).
三、poll 概要
poll流程和select模型流程大多都一样。都要建立监听，accept客户端连接，把客户端连接放在一个集合中，再将集合放到模型中管理，最后遍历有事件的文件描述符，进行通信。
poll流程和select模型不一样的地方。也就是将集合fd_set 替换成pollfd。也就是poll模型不用bitmap了，而是用一个pollfd的结构体进行操作。再pollfd中设置需要注册的事件events，而，poll函数中不修改events属性，而是修改revents属性来表示发生的事件。 在客户端响应后只需要重置revents就可以达到重用效果。
1.由于pollfd不再是bitmap，而是一个结构体，再poll模型中，内核态采用链表的形式对accept进来的socket进行管理，意味着再内存允许的范围内不再限制最大连接数。
2.pollfd传进poll函数中为引用传递，但是poll不会修改注册的监听事件属性，可以达到重用的效果。
3。依旧频繁进行用户态和内核态的，当连接多时开销大。
4. 时间复杂度依旧为O(n).
四、epoll 服务端实现流程
和正常网络服务端程序一样，服务端首先要创建一个socket用于监听，其中socket地址指定需要监听的主机和程序对应的端口。并与socket对应的文件描述符绑定起来。而后利用epoll函数对网络通信的文件描述符管理起来。
首先要了解epoll的数据结构，对epoll数据结构的管理和具体操作都是在内核态进行，操作系统对epoll管理都已经封装好了，程序员只需要负责调用就行。epoll的数据结构主要包括：
1.存放已就绪事件的就绪队列，它是双向链表构成的。
2.用于管理socket的红黑树。
3.以及双向链表表示的阻塞进程的队列。
程序员可对epoll的操作主要是3种：
1.epoll_create：
在epoll文件系统建立了个file节点（B+树），并开辟epoll自己的内核高速cache区，建立红黑树，建立双向链表用于存储准备就绪的事件。其中
首先创建一个struct eventpoll对象；然后分配一个未使用的文件描述符；然后创建一个struct file对象，将file中的struct file_operations *f_op设置为全局变量eventpoll_fops，将void *private指向刚创建的eventpoll对象ep；然后设置eventpoll中的file指针；最后将文件描述符添加到当前进程的文件描述符表中，并返回给用户。因为内核初始化时（操作系统启动）注册了一个新的文件系统，叫"eventpollfs"专门由于服务epoll。返回的fd就是该文件系统新建的文件描述符
2.epoll_ctl
epoll_ctl()首先判断op是不是删除操作，如果不是则将event参数从用户空间拷贝到内核中；获得struct eventpoll对象，接下来会从epoll实例的红黑树里寻找和被监控文件对应的epollitem对象，如果不存在，也就是之前没有添加过该文件;如果是添加操作，那么就会修改已有的或者创建新的epitem加入到红黑树中。
这个加入过程将epollitem对象添加到被监视文件的等待队列上去。等待队列实际上就是一个回调函数链表，定义在/include/linux/wait.h文件中。通过struct file的poll操作，以回调的方式返回对象的等待队列，这里设置的回调函数是ep_ptable_queue_proc。
在回调函数ep_ptable_queue_proc中，内核会创建一个struct eppoll_entry对象，然后将等待队列中的回调函数设置为ep_poll_callback()。也就是说，当被监控文件有事件到来时，比如socket收到数据时，ep_poll_callback()会被回调.ep_poll_callback函数主要的功能是将被监视文件的等待事件就绪时，将文件对应的epitem实例添加到就绪队列中
3.epoll_wait
观察就绪列表里面有没有数据，并进行提取和清空就绪列表.没数据就sleep直到超时。传入epoll_events，用于获取已就绪的事件。而epoll_wait返回已就绪的个数。换而言之epoll_events避免了像select模型中通过遍历所有监听的socket获取已就绪文件的问题。epoll获取已就绪的算法复杂度达到了O(1).
五、epoll示例代码实现
1.epoll实现服务端
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <sys/epoll.h>
#include <sys/types.h>
#include<unistd.h>
#define MAX 1024
#define SERVER_IP "127.0.0.1"
#define SERVER_HOST "localhost"
// #define SERVER_PORT 1234
int server_init(int port){
printf("=============server init========\n");
printf("1. create a TCP socket\n");
//sock的文件描述符
int mysock = socket (AF_INET,SOCK_STREAM,0);
if(mysock < 0){
printf("socket call failed\n"); return -1;
}
printf("2. fill server_addr with host_ip and port number \n");
int opt =1; unsigned int len = sizeof(opt);
setsockopt(mysock,SOL_SOCKET,SO_REUSEADDR,&opt,len);
setsockopt(mysock,SOL_SOCKET,SO_KEEPALIVE,&opt,len);
struct sockaddr_in server_addr ;
server_addr .sin_family = AF_INET;
server_addr .sin_port = htons(port);
server_addr .sin_addr.s_addr = htonl(INADDR_ANY);
printf("3. bind socket to server address \n");
int r =bind (mysock ,(struct sockaddr *) & server_addr ,sizeof (server_addr ));
if( r<0){
printf("bind call failed\n"); exit(3);
}
printf(" hostname =%s, port = %d \n", SERVER_HOST ,port);
listen(mysock , 5 );
printf("============init done ===========\n");
return mysock;
}
int main (int argc, char *argv[]){
if(argc !=2){
printf("usage:./tcpepoll port\n");
return 1;
}
//char line [MAX];
int listensocket=server_init(atoi(argv[1]));
printf("listensocket=%d\n",listensocket);
if(listensocket < 0){
printf("listensocket failed \n");
}
char buffer[1024];
memset(buffer,0,sizeof(buffer));
//create a fd
int epollfd=epoll_create(1);
//add a listen event
struct epoll_event ev;
ev.data.fd=listensocket;
ev.events=EPOLLIN;
epoll_ctl(epollfd,EPOLL_CTL_ADD,listensocket,&ev);
while (1){
struct epoll_event events[MAX];
// waiting event occurt
int infds=epoll_wait(epollfd,events,MAX,-1);
if(infds <0 ){
printf("epoll wait failed \n");break;
}
if(infds ==0){
printf("epoll wait timeout \n");continue;
}
for(int ii=0; ii<infds;ii++){
if( (events[ii].data.fd == listensocket) &&
(events[ii].events & EPOLLIN)){
//如果监听的socket有事件，那么说明有客户端程序连接上来
struct sockaddr_in client;
socklen_t len = sizeof(client);
printf("accepting \n");
int clientsock = accept(listensocket,(struct sockaddr*)&client,&len);
if(clientsock < 0){
printf("accept() fail\n"); continue;
}
//把监听到的socket加入到epoll中去管理
memset(&ev,0,sizeof(struct epoll_event));
ev.data.fd=clientsock;
ev.events=EPOLLIN;
epoll_ctl(epollfd,EPOLL_CTL_ADD,clientsock,&ev);
printf("clientsock=%d success \n",clientsock);
continue;
}else if(events[ii].events & EPOLLIN){
//如果是客户端socket有事件
char buffer[1024];
memset(buffer,0,sizeof(buffer));
//读取客户端数据
ssize_t isize = read(events[ii].data.fd,buffer,sizeof(buffer));
if(isize <= 0){
//已断开的连接从epoll中删除
memset(&ev,0,sizeof(struct epoll_event));
ev.events = EPOLLIN;
ev.data.fd = events[ii].data.fd;
epoll_ctl(epollfd,EPOLL_CTL_DEL,events[ii].data.fd,&ev);
close(events[ii].data.fd);
continue;
}
printf("recv(eventfd=%d,size=%ld): %s \n",events[ii].data.fd,isize,buffer);
//把收到的保温发回客户端
write(events[ii].data.fd,buffer,strlen(buffer));
}
}
}
close(epollfd);
return 0 ;
}
2.客户端采用tcp进行访问
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include<unistd.h>
#define MAX 256
#define SERVER_HOST "localhost"
#define SERVER_PORT 1234
struct sockaddr_in server_addr ;
int sock,r;
int client_init(){
printf("=============client init========\n");
printf("1. create a TCP socket\n");
sock = socket (AF_INET,SOCK_STREAM,0);
if(sock < 0){
printf("socket call failed\n"); exit(1);
}
printf("2. fill server_addr with host_ip and port number \n");
server_addr .sin_family = AF_INET;
server_addr .sin_port = htons(SERVER_PORT);
server_addr .sin_addr.s_addr = htonl(INADDR_ANY);
printf("3. connecting to server \n");
r = connect (sock ,(struct sockaddr *) & server_addr ,sizeof (server_addr ));
if( r<0){
printf("bind call failed\n"); exit(3);
}
printf(" hostname =%s, port = %d \n", SERVER_HOST ,SERVER_PORT);
printf("============client init done ===========\n");
return 0;
}
int main (){
char line [MAX] , ans[MAX];
int n;
client_init();
printf(" ********processing loop *******************");
while (1){
printf("put a line... \n");
bzero(line ,MAX);
fgets(line,MAX,stdin);
line[strlen(line) - 1] = 0;
if(line[0] ==0) exit(0);
n=write(sock,line,MAX);
printf("client : wrote n =%d bytes ; line %s :\n", n , line);
n =read(sock ,ans,MAX);
printf("client : read n =%d bytes ; line %s :\n", n , line);
}
}
1276
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
