python3之路 基础-select

首先列一下，sellect、poll、epoll三者的区别

select

select最早于1983年出现在4.2BSD中，它通过一个select()系统调用来监视多个文件描述符的数组，当select()返回后，该数组中就绪的文件描述符便会被内核修改标志位，使得进程可以获得这些文件描述符从而进行后续的读写操作。

select目前几乎在所有的平台上支持，其良好跨平台支持也是它的一个优点，事实上从现在看来，这也是它所剩不多的优点之一。

select的一个缺点在于单个进程能够监视的文件描述符的数量存在最大限制，在Linux上一般为1024，不过可以通过修改宏定义甚至重新编译内核的方式提升这一限制。

另外，select()所维护的存储大量文件描述符的数据结构，随着文件描述符数量的增大，其复制的开销也线性增长。同时，由于网络响应时间的延迟使得大量TCP连接处于非活跃状态，但调用select()会对所有socket进行一次线性扫描，所以这也浪费了一定的开销。

poll

poll在1986年诞生于System V Release 3，它和select在本质上没有多大差别，但是poll没有最大文件描述符数量的限制。

poll和select同样存在一个缺点就是，包含大量文件描述符的数组被整体复制于用户态和内核的地址空间之间，而不论这些文件描述符是否就绪，它的开销随着文件描述符数量的增加而线性增大。

另外，select()和poll()将就绪的文件描述符告诉进程后，如果进程没有对其进行IO操作，那么下次调用select()和poll()的时候将再次报告这些文件描述符，所以它们一般不会丢失就绪的消息，这种方式称为水平触发（Level Triggered）。

epoll

直到Linux2.6才出现了由内核直接支持的实现方法，那就是epoll，它几乎具备了之前所说的一切优点，被公认为Linux2.6下性能最好的多路I/O就绪通知方法。

epoll可以同时支持水平触发和边缘触发（Edge Triggered，只告诉进程哪些文件描述符刚刚变为就绪状态，它只说一遍，如果我们没有采取行动，那么它将不会再次告知，这种方式称为边缘触发），理论上边缘触发的性能要更高一些，但是代码实现相当复杂。

epoll同样只告知那些就绪的文件描述符，而且当我们调用epoll_wait()获得就绪文件描述符时，返回的不是实际的描述符，而是一个代表就绪描述符数量的值，你只需要去epoll指定的一个数组中依次取得相应数量的文件描述符即可，这里也使用了内存映射（mmap）技术，这样便彻底省掉了这些文件描述符在系统调用时复制的开销。

另一个本质的改进在于epoll采用基于事件的就绪通知方式。在select/poll中，进程只有在调用一定的方法后，内核才对所有监视的文件描述符进行扫描，而epoll事先通过epoll_ctl()来注册一个文件描述符，一旦基于某个文件描述符就绪时，内核会采用类似callback的回调机制，迅速激活这个文件描述符，当进程调用epoll_wait()时便得到通知。

---

select

优点

• 可以平台使用，不管是linux 还是windows

缺点：

• select 最多能维护1024个socket,这是linux默认打开的文件个数。也可以更改
• 当我select维护100个连接时，当连接有数据时，select不知道是哪个socket有数据，只能循环着100个socket，来获取有数据的连接。这样对资源是极大的浪费

poll

• 他们select上没有本质的区别，不过有一点不同，它去除了默认的连接数。

epoll

• epoll只在linux2.6之后才可以使用，CentOS6之后可以使用。
• 不可以在window上使用
• epoll监控100个socket连接，只要有一个socket连接有数据，他会获取到，而不是像select那样循环。
• 没有socket连接数限制

---

Python select

Python的select()方法直接调用操作系统的IO接口，它监控sockets,open files, and pipes(所有带fileno()方法的文件句柄)何时变成readable 和writeable, 或者通信错误，select()使得同时监控多个连接变的简单，并且这比写一个长循环来等待和监控多客户端连接要高效，因为select直接通过操作系统提供的C的网络接口进行操作，而不是通过Python的解释器。

注意：Using Python’s file objects with select() works for Unix, but is not supported under Windows.

接下来通过echo server例子要以了解select 是如何通过单进程实现同时处理多个非阻塞的socket连接的

__author__ = 'GPF'

import socket
import select
import queue

server = socket.socket()
server.bind(("localhost", 9999))
server.listen(500)
server.setblocking(False)  # 设置为非阻塞

inputs = []  # 检测连接列表
outputs = []
inputs.append(server)
msg_dict = {}  # 返回数据队列
print("服务已准备好...")
while True:
    # readable 新来的连接
    # writeable
    # exceptional 检测的连接有问题的在exceptional中
    readable, writeable, exceptional = select.select(inputs, outputs, inputs)  # 检测连接列表，，检测这个连接列表里有问题的连接

    for r in readable:

        if r is server:  # 代表来了一个新连接
            conn, addr = r.accept()
            print("新连接来了")
            # 是因为新建立的连接还没发数据过来，现在就接受的话程序就报错，
            # 所以要想实现这个客户端发数据来时server端能知道，就需要让select在检测这个conn
            inputs.append(conn)
            msg_dict[conn] = queue.Queue()  # 初始化一个队列，后面存要返回给这个客户端的数据
        else:
            try:
                data = r.recv(1024)
                msg_dict[r].put(data)
                if r not in outputs:
                    outputs.append(r)  # 放回返回的数据
            except ConnectionResetError as e:
                print('closing', addr, 'after reading no data')
                if r in outputs:
                    outputs.remove(r)  # 既然客户端都断开了，我就不用再给它返回数据了，所以这时候如果这个客户端的连接对象还在outputs列表中，就把它删掉
                inputs.remove(r)  # inputs中也删除掉
                r.close()  # 把这个连接关闭掉
                # Remove message queue
                del msg_dict[r]

    for w in writeable:
        try:
            data = msg_dict[w].get_nowait()
        except Exception as e:
            outputs.remove(w)
            print(e)
        else:
            w.send(data.upper())  # 返回给客户端数据
            print(addr,"send data done...",data.upper())
            outputs.remove(w)  # 确保下次循环的时候不返回已经处理完的连接

    for e in exceptional:
        if e is outputs:
            outputs.remove(e)

        inputs.remove(e)
        e.close()
        del msg_dict[e]  # 删除返回数据队列中的 socket

以上是一个最基础的select多socket模型。
其实select已经为我们封装好了，我们只需要引用selector这个库，代码量会减少很多。

__author__ = 'GPF'
# 功能

import selectors
import socket

sel = selectors.DefaultSelector()


def accept(sock, mask):
    conn, addr = sock.accept()  # Should be ready
    print('accepted', conn, 'from', addr)
    conn.setblocking(False) #连接设为非阻塞模式
    #不立刻收数据，可能时候客户端还没有发数据，我们可以将其先注册到selectot中（事件列表）
    sel.register(conn, selectors.EVENT_READ, read)


def read(conn, mask):
    try:
        data = conn.recv(1024)  # Should be ready
        print('echoing', data, 'to', conn)
        conn.send(data.upper())  # Hope it won't block
    except ConnectionResetError as e:
        print(e)
        print('closing', conn)
        sel.unregister(conn)
        conn.close()


sock = socket.socket()
sock.bind(('localhost', 9999))
sock.listen(100)
sock.setblocking(False)
sel.register(sock, selectors.EVENT_READ, accept) # 注册socket
print("等待连接...")

while True:
    events = sel.select() # 默认阻塞，有活动就返回有活动的连接列表
    for key, mask in events:
        callback = key.data # 回调函数 == accept
        callback(key.fileobj, mask)# key.fileobj = 文件句柄，相当于socket实例