Nginx高级部分

一、web服务基础介绍

Web 服务基础介绍

正常情况下的单次web服务访问流程：

Apache 经典的 Web 服务端

Apache起初由美国的伊利诺伊大学香槟分校的国家超级计算机应用中心开发

目前经历了两大版本分别是1.X和2.X

其可以通过编译安装实现特定的功能

1.Apache prefork 模型 预派生模式，有一个主控制进程，然后生成多个子进程，使用select模型，最大并发1024 每个子进程有一个独立的线程响应用户请求 相对比较占用内存，但是比较稳定，可以设置最大和最小进程数 是最古老的一种模式,也是最稳定的模式，适用于访问量不是很大的场景 优点：稳定

缺点：每个用户请求需要对应开启一个进程,占用资源较多，并发性差,不适用于高并发场景 

Apache worker 模型

一种多进程和多线程混合的模型

有一个控制进程，启动多个子进程

每个子进程里面包含固定的线程

使用线程程来处理请求 

当线程不够使用的时候会再启动一个新的子进程,然后在进程里面再启动线程处理请求

由于其使用了线程处理请求，因此可以承受更高的并发  

优点：相比prefork 占用的内存较少，可以同时处理更多的请求

缺点：使用keepalive的长连接方式，某个线程会一直被占据，即使没有传输数据，也需要一直等待到超 时才会被释放。如果过多的线程，被这样占据，也会导致在高并发场景下的无服务线程可用（该问题在 prefork模式下，同样会发生）

Apache event模型 

Apache中最新的模式，2012年发布的apache 2.4.X系列正式支持event 模型,属于事件驱动模型(epoll)

每个进程响应多个请求，在现在版本里的已经是稳定可用的模式

它和worker模式很像，最大的区别在于，它解决了keepalive场景下长期被占用的线程的资源浪费问题 （某些线程因为被keepalive，空挂在哪里等待，中间几乎没有请求过来，甚至等到超时）

event MPM中，会有一个专门的线程来管理这些keepalive类型的线程

当有真实请求过来的时候，将请求传递给服务线程，执行完毕后，又允许它释放。这样增强了高并发场 景下的请求处理能力

优点：单线程响应多请求，占据更少的内存，高并发下表现更优秀，会有一个专门的线程来管理keepalive类型的线程，当有真实请求过来的时候，将请求传递给服务线程，执行完毕后，又允许它释放

缺点：没有线程安全控制

Nginx-高性能的 Web 服务端 

 阻塞型 I/O 模型（blocking IO）

• 阻塞IO模型是最简单的I/O模型，用户线程在内核进行IO操作时被阻塞
• 用户线程通过系统调用read发起I/O读操作，由用户空间转到内核空间。内核等到数据包到达后，然 后将接收的数据拷贝到用户空间，完成read操作
• 用户需要等待read将数据读取到buffer后，才继续处理接收的数据。整个I/O请求的过程中，用户线 程是被阻塞的，这导致用户在发起IO请求时，不能做任何事情，对CPU的资源利用率不够 

优点：程序简单，在阻塞等待数据期间进程/线程挂起，基本不会占用 CPU 资源

缺点：每个连接需要独立的进程/线程单独处理，当并发请求量大时为了维护程序，内存、线程切换开销 较apache 的preforck使用的是这种模式。

同步阻塞：程序向内核发送I/O请求后一直等待内核响应，如果内核处理请求的IO操作不能立即返回,则进 程将一直等待并不再接受新的请求，并由进程轮询查看I/O是否完成，完成后进程将I/O结果返回给 Client，在IO没有返回期间进程不能接受其他客户的请求，而且是有进程自己去查看I/O是否完成，这种 方式简单，但是比较慢，用的比较少。 

非阻塞型 I/O 模型 (nonblocking IO

用户线程发起IO请求时立即返回。但并未读取到任何数据，用户线程需要不断地发起IO请求，直到数据 到达后，才真正读取到数据，继续执行。即 “轮询”机制存在两个问题：如果有大量文件描述符都要等， 那么就得一个一个的read。这会带来大量的Context Switch（read是系统调用，每调用一次就得在用户 态和核心态切换一次）。轮询的时间不好把握。这里是要猜多久之后数据才能到。等待时间设的太长， 程序响应延迟就过大;设的太短，就会造成过于频繁的重试，干耗CPU而已，是比较浪费CPU的方式，一 般很少直接使用这种模型，而是在其他IO模型中使用非阻塞IO这一特性。

非阻塞：程序向内核发送请I/O求后一直等待内核响应，如果内核处理请求的IO操作不能立即返回IO结 果，进程将不再等待，而且继续处理其他请求，但是仍然需要进程隔一段时间就要查看内核I/O是否完 成。

查看上图可知，在设置连接为非阻塞时，当应用进程系统调用 recvfrom 没有数据返回时，内核会立即返 回一个 EWOULDBLOCK 错误，而不会一直阻塞到数据准备好。如上图在第四次调用时有一个数据报准 备好了，所以这时数据会被复制到 应用进程缓冲区 ，于是 recvfrom 成功返回数据

当一个应用进程这样循环调用 recvfrom 时，称之为轮询 polling 。这么做往往会耗费大量CPU时间，实 际使用很少 

多路复用 I/O 型(I/O multiplexing)

上面的模型中,每一个文件描述符对应的IO是由一个线程监控和处理 多路复用IO指一个线程可以同时（实际是交替实现，即并发完成）监控和处理多个文件描述符对应各自 的IO，即复用同一个线程 一个线程之所以能实现同时处理多个IO,是因为这个线程调用了内核中的SELECT,POLL或EPOLL等系统调 用，从而实现多路复用IO

I/O multiplexing 主要包括:select，poll，epoll三种系统调用，select/poll/epoll的好处就在于单个 process就可以同时处理多个网络连接的IO。

它的基本原理就是select/poll/epoll这个function会不断的轮询所负责的所有socket，当某个socket有数 据到达了，就通知用户进程。

当用户进程调用了select，那么整个进程会被block，而同时，kernel会“监视”所有select负责的socket， 当任何一个socket中的数据准备好了，select就会返回。这个时候用户进程再调用read操作，将数据从 kernel拷贝到用户进程。

Apache prefork是此模式的select，worker是poll模式。

IO多路复用（IO Multiplexing) ：是一种机制，程序注册一组socket文件描述符给操作系统，表示“我要 监视这些fd是否有IO事件发生，有了就告诉程序处理”IO多路复用一般和NIO一起使用的。NIO和IO多路 复用是相对独立的。NIO仅仅是指IO API总是能立刻返回，不会被Blocking;而IO多路复用仅仅是操作系统 提供的一种便利的通知机制。操作系统并不会强制这俩必须得一起用，可以只用IO多路复用 + BIO，这时 还是当前线程被卡住。IO多路复用和NIO是要配合一起使用才有

实际意义

IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取，就通知该进程多个连接共用一 个等待机制，本模型会阻塞进程，但是进程是阻塞在select或者poll这两个系统调用上，而不是阻塞在真 正的IO操作上用户首先将需要进行IO操作添加到select中，同时等待select系统调用返回。当数据到达 时，IO被激活，select函数返回。用户线程正式发起read请求，读取数据并继续执行从流程上来看，使用 select函数进行IO请求和同步阻塞模型没有太大的区别，甚至还多了添加监视IO，以及调用select函数的 额外操作，效率更差。并且阻塞了两次，但是第一次阻塞在select上时，select可以监控多个IO上是否已 有IO操作准备就绪，即可达到在同一个线程内同时处理多个IO请求的目的。而不像阻塞IO那种，一次只 能监控一个IO虽然上述方式允许单线程内处理多个IO请求，但是每个IO请求的过程还是阻塞的（在select 函数上阻塞），平均时间甚至比同步阻塞IO模型还要长。如果用户线程只是注册自己需要的IO请求，然 后去做自己的事情，等到数据到来时再进行处理，则可以提高CPU的利用率IO多路复用是最常使用的IO 模型，但是其异步程度还不够“彻底”，因它使用了会阻塞线程的select系统调用。因此IO多路复用只能称 为异步阻塞IO模型，而非真正的异步IO

优缺点  

• 优点：可以基于一个阻塞对象，同时在多个描述符上等待就绪，而不是使用多个线程(每个文件描述 符一个线程)，这样可以大大节省系统资源
• 缺点：当连接数较少时效率相比多线程+阻塞 I/O 模型效率较低，可能延迟更大，因为单个连接处理 需要 2 次系统调用，占用时间会有增加

IO多路复用适用如下场合： 

• 当客户端处理多个描述符时（一般是交互式输入和网络套接口），必须使用I/O复用
• 当一个客户端同时处理多个套接字时，此情况可能的但很少出现 当一个服务器既要处理监听套接字，又要处理已连接套接字，一般也要用到I/O复用
• 当一个服务器即要处理TCP，又要处理UDP，一般要使用I/O复用
• 当一个服务器要处理多个服务或多个协议，一般要使用I/O复用

信号驱动式 I/O 模型 (signal-driven IO) 

信号驱动I/O的意思就是进程现在不用傻等着，也不用去轮询。而是让内核在数据就绪时，发送信号通知 进程。

调用的步骤是，通过系统调用 sigaction ，并注册一个信号处理的回调函数，该调用会立即返回，然后主 程序可以继续向下执行，当有I/O操作准备就绪,即内核数据就绪时，内核会为该进程产生一个 SIGIO信 号，并回调注册的信号回调函数，这样就可以在信号回调函数中系统调用 recvfrom 获取数据,将用户进 程所需要的数据从内核空间拷贝到用户空间

此模型的优势在于等待数据报到达期间进程不被阻塞。用户主程序可以继续执行，只要等待来自信号处 理函数的通知。

在信号驱动式 I/O 模型中，应用程序使用套接口进行信号驱动 I/O，并安装一个信号处理函数，进程继续 运行并不阻塞

在信号驱动式 I/O 模型中，应用程序使用套接口进行信号驱动 I/O，并安装一个信号处理函数，进程继续 运行并不阻塞 当数据准备好时，进程会收到一个 SIGIO 信号，可以在信号处理函数中调用 I/O 操作函数处理数据。

优 点：线程并没有在等待数据时被阻塞，内核直接返回调用接收信号，不影响进程继续处理其他请求因此 可以提高资源的利用率

缺点：信号 I/O 在大量 IO 操作时可能会因为信号队列溢出导致没法通知 异步阻塞：程序进程向内核发送IO调用后，不用等待内核响应，可以继续接受其他请求，内核收到进程 请求后 进行的IO如果不能立即返回，就由内核等待结果，直到IO完成后内核再通知进程 

异步 I/O 模型 (asynchronous IO) 

异步I/O 与 信号驱动I/O最大区别在于，信号驱动是内核通知用户进程何时开始一个I/O操作，而异步I/O 是由内核通知用户进程I/O操作何时完成，两者有本质区别,相当于不用去饭店场吃饭，直接点个外卖，把 等待上菜的时间也给省了

相对于同步I/O，异步I/O不是顺序执行。用户进程进行aio_read系统调用之后，无论内核数据是否准备 好，都会直接返回给用户进程，然后用户态进程可以去做别的事情。等到socket数据准备好了，内核直 接复制数据给进程，然后从内核向进程发送通知。IO两个阶段，进程都是非阻塞的。

信号驱动IO当内核通知触发信号处理程序时，信号处理程序还需要阻塞在从内核空间缓冲区拷贝数据到 用户空间缓冲区这个阶段，而异步IO直接是在第二个阶段完成后，内核直接通知用户线程可以进行后续 操作了

优点：异步 I/O 能够充分利用 DMA 特性，让 I/O 操作与计算重叠

缺点：要实现真正的异步 I/O，操作系统需要做大量的工作。目前 Windows 下通过 IOCP 实现了真正的 异步 I/O，在 Linux 系统下，Linux 2.6才引入，目前 AIO 并不完善，因此在 Linux 下实现高并发网络编 程时以 IO 复用模型模式+多线程任务的架构基本可以满足需求

Linux提供了AIO库函数实现异步，但是用的很少。目前有很多开源的异步IO库，例如libevent、libev、 libuv。

异步非阻塞：程序进程向内核发送IO调用后，不用等待内核响应，可以继续接受其他请求，内核调用的 IO如果不能立即返回，内核会继续处理其他事物，直到IO完成后将结果通知给内核，内核在将IO完成的 结果返回给进程，期间进程可以接受新的请求，内核也可以处理新的事物，因此相互不影响，可以实现 较大的同时并实现较高的IO复用，因此异步非阻塞使用最多的一种通信方式。

五种io对比： 

每种I/O模型都有其适用的场景和优缺点，在选择合适的I/O模型时需要考虑应用的需求和性能目标。在现代Web开发中，异步I/O模型越来越受欢迎，因为它能够在不牺牲性能的情况下支持高并发这五种 I/O 模型中，越往后，阻塞越少，理论上效率也是最优前四种属于同步 I/O，因为其中真正的 I/O 操作(recvfrom)将阻塞进程/线程，只有异步 I/O 模型才与 POSIX 定义的异步 I/O 相匹配

零拷贝 

零拷贝（Zero-Copy）是一种优化技术，它通过减少数据在不同内存区域之间的复制次数来提高系统的性能。在传统的I/O模型中，数据通常需要经历多次拷贝才能从源头到达目的地。这些拷贝不仅消耗CPU资源，还会增加上下文切换的开销，影响整体的系统性能。

下面是如何通过零拷贝技术解决传统I/O模型中的问题：

### 传统I/O模型的问题
1. **多次数据拷贝**：
   - 数据从磁盘读入时，通常先拷贝到内核空间的缓冲区；
   - 然后从内核空间的缓冲区拷贝到用户空间的缓冲区；
   - 如果数据还需要通过网络发送出去，那么它会再次从用户空间的缓冲区拷贝到内核空间的网络缓冲区。

2. **多次上下文切换**：
   - 每个系统调用（如read和write）都会引发一次从用户态到内核态的上下文切换；
   - 上下文切换会消耗CPU周期。

3. **额外的内存分配和管理**：
   - 每次拷贝都需要分配新的内存缓冲区，并且在拷贝完成后释放旧的缓冲区。

### 零拷贝技术的解决方案
1. **减少数据拷贝次数**：
   - 零拷贝技术尽量避免数据在用户空间和内核空间之间的拷贝；
   - 例如，可以使用DMA（Direct Memory Access）直接将数据从硬件设备（如磁盘）读取到内核缓冲区，而无需再拷贝到用户空间。

2. **减少上下文切换次数**：
   - 通过减少系统调用的数量来减少上下文切换；
   - 例如，使用sendfile等系统调用可以在一次调用中完成从文件读取到网络发送的整个过程。

3. **简化内存管理**：
   - 避免不必要的内存分配和释放操作；
   - 利用直接内存映射或者共享内存区域来减少内存管理的开销。

### 具体实现方法
- **Sendfile**：通过sendfile系统调用可以直接从文件描述符读取数据并通过另一个文件描述符发送出去，无需中间的用户空间缓冲区。
- **Mmap/Memory Mapping**：通过内存映射文件的方式，使文件内容直接映射到进程的地址空间，从而避免了用户空间和内核空间之间的数据拷贝。
- **Direct I/O**：某些文件系统支持直接I/O，允许应用程序直接读写磁盘而绕过内核缓冲区，这样可以减少一次数据拷贝。
- **Ring Buffers**：使用环形缓冲区来存储数据，应用程序和内核都可以访问同一段内存，从而减少数据拷贝。

通过这些技术手段，零拷贝可以显著提高数据传输的效率，降低CPU和内存的使用率