多线程模型



1. 两种常用的线程模型

1. 生产者-消费者模型

   就是由一个线程生产任务，而另外一个线程执行任务，二个线程之间有一个共享数据区，这种数据结构可以用队列来表示，但是必须是并发同步的，也就是就共享数据队列同一时间只能允许一个线程进行访问。这种机制叫做同步访问，在JAVA里面用关键字synchorinized来标识对象是同步并发访问的。

           生产者/消费者模式是一种很经典的线程同步模型，很多时候，并不是光保证多个线程对某共享资源操作的互斥性就够了，往往多个线程之间都是有协作的。

1. 线程池模型

   就是说开始由值守线程创建N个工作线程，并启动它们，它们的状态初始为空闲。然后值守线程到工作队列中取出一个工作任务，同时从线程池中取出一空闲线程来执行此工作任务，执行完该任务后，把该工作线程由运行变为空闲状态，这样不断的从工作队列中取出任务由线程池中的空闲线程进行执行完成。线程池模型不用为每个任务都创建一个线程，只需初始时创建N个线程，然后一直用这N个线程去执行工作队列中的任务，大大的减少了线程的启动，终止的开销。
         总之，多线程编程的关键是线程类的设计，以及共享数据的设计，同时注意区分哪些是多线程可能访问，哪些是各线程自已私有的，还有就是线程的状态变换，比如挂起的线程何时需要唤醒。等等问题。

1. 几种多线程编程模型的比较

   1.工作组模型：

   （1）多个worker共享一个数据队列，所以每次dequeue时要先检查队列是否为空。不为空才能的返回消息。
     （2）enqueue可以不用关心队列消息数，只需要enqueue然后通知线程即可。
     （3）示例中，条件变量condDone是可选的。某些情况下需要知晓队列是否为空的状态，可以考虑增加这个条件变量并编写接口。

   2.C/S模型

   只有一个线程处理消息，然后再把处理后的消息通过客户端的消息队列同客户端交互。

   3.流水线模型

   （1）流水线有很多节点，后面的节点阻塞会导致前面的节点阻塞。前面的节点是否阻塞并不影响后面节点的工作。队列尾部和头部可以同时读写。这跟现实中时一样的。

   （2）流水线为了实现严格的执行顺序，每个节点的数据结构构成了消息队列的一环，并且一定要有信号量和条件变量来控制执行顺序。

     4.各个编程模型的作用

     流水线模型主要用来严格控制线程的执行顺序。工作组模型可以用来提高消息的处理处理速度。C/S模型主要用来提供多线程交互的架构。实际编程中，这几种是一起混着用的。    

5.各编程模型的区别

流水线模型里，每个线程干的活是不一样的。工作组模型里，所有的线程都可以从队列尾部取出消息进行处理，所有线程的实现逻辑都是一样的。客户/服务器模型里，用于处理消息的线程只有一个。为了提高并发度，可以采用工作组的模式来处理消息。C/S多线程模型的关键是，服务器必须要等到客户端的命令后才能工作，而且处理完消息后可能会同客户端进行交互。所以在实现中，服务器端和客户端都要拥有自己独立的消息队列。

多线程编程的关键在于确定多个线程之间的架构，并根据架构构建数据(消息)在线程之间的流通通道。

6.使用线程模型开发服务器需要考虑以下问题

（1）调整进程内最大文件描述符上限（2）线程如有共享数据，考虑线程同步（3）服务于客户端线程退出时，退出处理。(退出值，分离态)（4）系统负载，随着链接客户端增加，导致其它线程不能及时得到CPU。

1. 多线程和多进程模型的选用

1. 选用：这里的线程指通过linux的pthread_create而产生的原生线程，线程资源很宝贵，能被操作系统的任务调度器看见的（不是python gevent、gogorouine里的概念）； 
   我们讨论以下两种模型；（1）多进程单线程模型（以下简称为多进程）；（2）单进程多线程模型（以下简称为多线程）；

2. 多进程模型

1. 优点

1. 编程相对容易：通常不需要考虑锁和同步资源的问题。 

2. 更强的容错性：比起多线程的一个好处是一个进程崩溃了不会影响其他进程。 

3. 有内核保证的隔离：数据和错误隔离。

4. 对于使用如C/C++这些语言编写的本地代码，错误隔离是非常有用的：采用多进程架构的程序一般可以做到一定程度的自恢复；（master守护进程监控所有worker进程，发现进程挂掉后将其重启） 

1. 多进程的案例

   nginx主流的工作模式是多进程模式（也支持多线程模型） 
   几乎所有的webserver服务器服务都有多进程的，至少有一个守护进程配合一个worker进程，例如apached,httpd等等以d结尾的进程包括init.d本身就是0级总进程，所有你认知的进程都是它的子进程； 
   chrome浏览器也是多进程方式。 
   redis也可以归类到“多进程单线程”模型（平时工作是单个进程，涉及到耗时操作如持久化或aof重写时会用到多个进程）

1. 多线程模型

1. 优点

1. 多线程优点：创建速度快，方便高效的数据共享 

b.共享数据：多线程间可以共享同一虚拟地址空间；多进程间的数据共享就需要用到共享内存、信号量等IPC技术；

较轻的上下文切换开销-不用切换地址空间，不用更改寄存器，不用刷新TLB。 
提供非均质的服务 
如果全都是计算任务，但每个任务的耗时不都为1s，而是1ms-1s之间波动；这样，多线程相比多进程的优势就体现出来，它能有效降低“简单任务被复杂任务压住”的概率；

1. 适用的场景

1. 线程间有数据共享，并且数据是需要修改的（不同任务间需要大量共享数据或频繁通信时）； 
   b. 提供非均质的服务（有优先级任务处理）事件响应有优先级； 
   c. 单任务并行计算，在非CPUBound的场景下提高响应速度，降低时延； 
   d. 与人有IO交互的应用，良好的用户体验（键盘鼠标的输入，立刻响应）

1. 多线程案例：桌面软件，响应用户输入的是一个线程，后台程序处理是另外的线程； 
   memcached

（4）选用：单进程多线程和多进程单线程，2种模式如何取舍？ 
进程线程间创建的开销不足作为选择的依据，因为一般我们都是使用线程池或者进程池，在系统启动时就创建了固定的线程或进程，不会频繁的创建和销毁；

首先，根据工作集（需要共享的内存）的大小来定；如果工作集较大，就用多线程，避免cpu cache频繁的换入换出；比如memcached缓存系统；

其次，选择的依据根据以上多线程适用的场景来对比自身的业务场景，是否有这样场景需求：数据共享、提供非均质的服务，单任务拆散并行化等； 
如果没有必要，或者多进程就可以很好的胜任，就多用多进程，享受单线程编程带来便利；

 

1. 线程的概念和多线程模型

1. 线程的基本概念：引入进程的目的，是为了使多道程序并发执行，以提高资源利用率和系统吞吐量；而引入线程，则是为了减小程序在并发执行时所付出的时空开销，提高操作系统的并发性能。
   
   线程最直接的理解就是“轻量级进程”，它是一个基本的CPU执行单元，也是程序执行流的最小单元，由线程ID、程序计数器、寄存器集合和堆栈组成。线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有系统资源，只拥有一点在运行中必不可少的资源，但它可与同属一个进程的其他线程共享进程所拥有的全部资源。一个线程可以创建和撤销另一个线程，同一进程中的多个线程之间可以并发执行。由于线程之间的相互制约，致使线程在运行中呈现出间断性。线程也有就绪、阻塞和运行三种基本状态。引入线程后，进程的内涵发生了改变，进程只作为除CPU以外系统资源的分配单元，线程则作为处理机的分配单元。

2. 线程与进程的比较

1. 调度：在传统的操作系统中，拥有资源和独立调度的基本单位都是进程。在引入线程的操作系统中，线程是独立调度的基本单位，进程是资源拥有的基本单位。在同一进程中，线程的切换不会引起进程切换。在不同进程中进行线程切换,如从一个进程内的线程切换到另一个进程中的线程时，会引起进程切换。

2. 拥有资源：不论是传统操作系统还是设有线程的操作系统，进程都是拥有资源的基本单位，而线程不拥有系统资源（也有一点必不可少的资源），但线程可以访问其隶属进程的系统资源。

3. 并发性：在引入线程的操作系统中，不仅进程之间可以并发执行，而且多个线程之间也可以并发执行，从而使操作系统具有更好的并发性，提高了系统的吞吐量。

4. 系统开销：由于创建或撤销进程时，系统都要为之分配或回收资源，如内存空间、 I/O设备等，因此操作系统所付出的开销远大于创建或撤销线程时的开销。类似地，在进行进程切换时，涉及当前执行进程CPU环境的保存及新调度到进程CPU环境的设置，而线程切换时只需保存和设置少量寄存器内容，开销很小。此外，由于同一进程内的多个线程共享进程的地址空间，因此，这些线程之间的同步与通信非常容易实现，甚至无需操作系统的干预。

5. 地址空间和其他资源（如打开的文件）：进程的地址空间之间互相独立，同一进程的各线程间共享进程的资源，某进程内的线程对于其他进程不可见。

6. 通信方面：进程间通信(IPC)需要进程同步和互斥手段的辅助，以保证数据的一致性，而线程间可以直接读/写进程数据段（如全局变量）来进行通信。

1. 现成的属性

在多线程操作系统中，把线程作为独立运行（或调度）的基本单位，此时的进程，已不再是一个基本的可执行实体。但进程仍具有与执行相关的状态，所谓进程处于“执行”状态，实际上是指该进程中某线程正在执行。线程的主要属性如下：

1. 线程是一个轻型实体，它不拥有系统资源，但每个线程都应有一个唯一的标识符和一个线程控制块，线程控制块记录了线程执行的寄存器和栈等现场状态。

2. 不同的线程可以执行相同的程序，即同一个服务程序被不同的用户调用时，操作系统为它们创建成不同的线程。

3. 同一进程中的各个线程共享该进程所拥有的资源。

4. 线程是处理机的独立调度单位，多个线程是可以并发执行的。在单CPU的计算机系统中，各线程可交替地占用CPU；在多CPU的计算机系统中，各线程可同时占用不同的CPU，若各个CPU同时为一个进程内的各线程服务则可缩短进程的处理时间。

5. —个线程被创建后便开始了它的生命周期，直至终止，线程在生命周期内会经历阻塞态、就绪态和运行态等各种状态变化。

1. 线程的实现方式：

   线程的实现可以分为两类：用户级线程(User-LevelThread,ULT)和内核级线程(Kemel-LevelThread, KLT)。内核级线程又称为内核支持的线程。
   在用户级线程中，有关线程管理的所有工作都由应用程序完成，内核意识不到线程的存在。应用程序可以通过使用线程库设计成多线程程序。通常，应用程序从单线程起始，在该线程中开始运行，在其运行的任何时刻，可以通过调用线程库中的派生例程创建一个在相同进程中运行的新线程。图2-2(a)说明了用户级线程的实现方式。
   在内核级线程中，线程管理的所有工作由内核完成，应用程序没有进行线程管理的代码，只有一个到内核级线程的编程接口。内核为进程及其内部的每个线程维护上下文信息，调度也是在内核基于线程架构的基础上完成。图2-2(b)说明了内核级线程的实现方式。
   
   在一些系统中，使用组合方式的多线程实现。线程创建完全在用户空间中完成，线程的调度和同步也在应用程序中进行。一个应用程序中的多个用户级线程被映射到一些（小于或等于用户级线程的数目）内核级线程上。图2-2(c)说明了用户级与内核级的组合实现方式。

   

2. 多线程模型

   有些系统同时支持用户线程和内核线程由此产生了不同的多线程模型，即实现用户级线程和内核级线程的连接方式。

1. 多对一模型

   将多个用户级线程映射到一个内核级线程，线程管理在用户空间完成。此模式中，用户级线程对操作系统不可见（即透明）。优点：线程管理是在用户空间进行的，因而效率比较高。缺点：当一个线程在使用内核服务时被阻塞，那么整个进程都会被阻塞；多个线程不能并行地运行在多处理机上。

2. 一对一模型

   将每个用户级线程映射到一个内核级线程。优点：当一个线程被阻塞后，允许另一个线程继续执行，所以并发能力较强。缺点：每创建一个用户级线程都需要创建一个内核级线程与其对应，这样创建线程的开销比较大，会影响到应用程序的性能。

3. 多对多模型

   将 n个用户级线程映射到m个内核级线程上，要求m <= n。
   特点：在多对一模型和一对一模型中取了个折中，克服了多对一模型的并发度不高的缺点，又克服了一对一模型的一个用户进程占用太多内核级线程，开销太大的缺点。又拥有多对一模型和一对一模型各自的优点，可谓集两者之所长。

4. 三种模型总结   三种模型是用户级线程和内核级线程的对应关系。