Python 线程和进程和协程总结

最新推荐文章于 2024-10-06 01:12:06 发布
转载 最新推荐文章于 2024-10-06 01:12:06 发布 · 133 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/George1994/p/10615435.html
文章标签：

#python #操作系统

本文详细介绍了Python中的线程、进程及协程的概念与区别，并探讨了多线程与多进程的应用场景，特别是针对GIL（全局解释器锁）的影响进行了深入分析。

Python 线程和进程和协程总结

线程和进程和协程

进程

  • 进程是程序执行时的一个实例，是担当分配系统资源（CPU时间、内存等）的基本单位；

  • 进程有独立的地址空间，一个进程崩溃后，在保护模式下不会对其它进程产生影响；

  • 进程间可以通过信号、信号量、共享内存、管道、队列等来进行通信；

  • 进程创建、销毁、上下文切换带来的开销成本都很大；

线程

  • 线程是进程的一个实体，作为独立运行和独立调度的基本单位。

  • 线程可与同属一个进程的其他的线程共享进程所拥有的全部资源。

  • 线程只是一个进程中的不同执行路径，没有单独的地址空间，一个线程死掉就会导致整个进程死掉。

  • 线程创建、销毁、上下文切换带来的开销要比进程小得多；

协程

  • 协程的控制有应用程序控制，非抢占式的；

  • 切换快，开销相较线程更小，所以可以开更多的协程；

具体使用参考Python 协程总结

多线程和多进程

多线程

优点

  1. 它是一种非常"节俭"的多任务操作方式。我们知道，在Linux系统下，启动一个新的进程必须分配给它独立的地址空间，建立众多的数据表来维护它的代码段、堆栈段和数据段，这是一种"昂贵"的多任务工作方式。而运行于一个进程中的多个线程，它们彼此之间使用相同的地址空间，共享大部分数据，启动一个线程所花费的空间远远小于启动一个进程所花费的空间，而且，线程间彼此切换所需的时间也远远小于进程间切换所需要的时间。

  2. 线程间方便的通信机制，对不同进程来说，它们具有独立的数据空间，要进行数据的传递只能通过通信的方式进行，这种方式不仅费时，而且很不方便。线程则不然，由于同一进程下的线程之间共享数据空间，所以一个线程的数据可以直接为其它线程所用。

  3. 提高应用程序响应。这对图形界面的程序尤其有意义，当一个操作耗时很长时，整个系统都会等待这个操作，此时程序不会响应键盘、鼠标、菜单的操作，而使用多线程技术，将耗时长的操作（time consuming）置于一个新的线程，可以避免这种尴尬的情况。

  4. 使多CPU系统更加有效。操作系统会保证当前线程数不大于CPU数目时，不同的线程运行于不同的CPU上。

GIL

全局解释器锁是在实现Python解析器(CPython)时所引入的一个概念。每个线程在执行的过程都需要先获取GIL，保证同一时刻只有一个线程可以执行代码。

Q&A： 为什么说GIL对于CPU密集型任务不友好，而对于IO密集型任务比较友好呢？

这是因为GIL的释放逻辑是当前线程遇见IO操作或者ticks计数达到100（ticks可以看作是python自身的一个计数器，专门做用于GIL，每次释放后归零，这个计数可以通过 sys.setcheckinterval 来调整），进行释放。而每次释放GIL锁，线程进行锁竞争、切换线程，会消耗资源。

那CPU密集型任务(各种循环处理、计数等等)，在这种情况下，ticks计数很快就会达到阈值，然后触发GIL的释放与再竞争（多个线程来回切换当然是需要消耗资源的），但是对于IO密集型任务，多线程能够有效提升效率(单线程下有IO操作会进行IO等待，造成不必要的时间浪费，而开启多线程能在线程A等待时，自动切换到线程B，可以不浪费CPU的资源，从而能提升程序执行效率)。因此说GIL对于CPU密集型任务不友好，而对于IO密集型任务比较友好。

解决方案

multiprocessing库的出现很大程度上是为了弥补thread库因为GIL而低效的缺陷，它完整的复制了一套thread所提供的接口方便迁移。唯一的不同就是它使用了多进程而不是多线程。每个进程有自己的独立的GIL，因此也不会出现进程之间的GIL争抢。当然multiprocessing也不是万能良药。它的引入会增加程序实现时线程间数据通讯和同步的困难。Python的多线程在多核CPU上，只对于IO密集型计算产生正面效果；而当至少有一个CPU密集型线程存在时，那么多线程效率会由于GIL而大幅下降，这个时候就得使用多进程；

多进程

Python中的多线程因为GIL的关系并不算是真正的多线程，如果想要充分地使用多核CPU的资源，大部分情况需要使用多进程。multiprocessing支持子进程、通信和共享数据、执行不同形式的同步，提供了Process、Queue、Pipe、Lock等组件。

谈谈python的GIL、多线程、多进程

转载于:https://www.cnblogs.com/George1994/p/10615435.html

Python进程、线程、协程
Zorazjj的博客
03-07 1648
每个进程都有各自的一块独立的内存，保证进程彼此间的内存地址空间的隔离。这种任务虽然也可以用多任务完成，但是当任务过多时（超过cpu的核数），花在任务切换的时间就越多，CPU执行任务的效率就越低，所以，要最高效地利用CPU，计算密集型任务同时进行的数量应当等于CPU的核心数。：涉及到网络、磁盘IO的任务都是IO密集型任务，比如网络传输、数据库等调用、爬虫等，这类任务的特点是CPU消耗很少，任务的大部分时间都在等待IO操作完成（存在阻塞），99%的时间花费在IO上（因为IO的速度远远低于CPU和内存的速度）。
【Python】进程、线程、协程详解及使用场景解析
kdayjj966的博客
01-27 1610
GIL，全称（全局解释器锁），是 Python 的主流解释器 CPython 的一个机制。它确保在任意时刻，只有一个线程能够执行 Python 字节码。GIL 的存在使得 Python 的多线程无法真正实现并行计算。多进程：适用于 CPU 密集型任务，如计算和图像处理。推荐使用模块。多线程：适用于 I/O 密集型任务，如网络爬虫和文件操作。推荐使用标准库threading。协程：适用于高并发的 I/O 密集型任务。推荐使用asyncio或gevent。推荐方案：多进程 + 协程。
Python中的协程、线程和进程
NLP工程化
01-02 1916
协程、多线程和多进程都是实现程序并发执行的方法，不过它们在工作方式和适合的应用场景上存在一些区别。
python中的进程线程和协程
ximu__l的博客
04-30 2057
介绍了进程、线程和协程，并通过实例对三种操作进行了展示，最后说明了适合三种并发操作方式的相应场景和任务。
python - 进程、线程、协程
qq_48391148的博客
08-05 775
进程与线程 • 真正在cpu上运行的是线程 • 线程共享内存空间；进程的内存是独立的 • 一个线程只能属于一个进程，而一个进程可以有多个线程，但至少有一个线程 • 资源分配给进程，同一进程的所有线程共享该进程的所有资源。进程的资源是独立的 • 同一个进程的线程之间可以直接交流；两个进程想通信，必须通过一个中间代理来实现......
Python线程、进程与协程
你的指尖，有改变世界的力量。
07-10 216
参考：https://www.cnblogs.com/alex3714/articles/5230609.html
python线程、进程和协程详解
09-21
Python中的线程、进程和协程是并发执行任务的关键概念，它们在多任务处理和优化程序性能方面扮演着重要角色。 一、进程 进程是操作系统分配资源的基本单位，每个进程都有独立的内存空间，包括代码、数据和栈空间。...
python协程，线程，进程详细解释和使用
全世界的博客
09-20 2842
协程（Coroutine）是一种用户态的轻量级线程，它允许执行被挂起与恢复。与传统的子程序（Subroutine）不同，协程可以在执行过程中暂停，并在之后从暂停点继续执行，而不是从程序的开头重新开始。这种特性使得协程非常适合处理需要等待外部事件（如I/O操作）的任务。协程的概念最早出现在1963年，由Melvin Conway提出。然而，直到近年来，随着异步编程的兴起，协程才逐渐受到广泛关注。Python在3.4版本中引入了asyncio模块，正式支持协程，并在后续版本中不断完善。在计算机科学中，线程。
Python之进程+线程+协程（异步、selectors模块、阻塞、非阻塞IO）
12-21
在Python中，理解和掌握进程、线程、协程以及IO多路复用的概念和技术，是编写高性能网络服务和并发应用的基础。通过合理使用这些工具，开发者可以编写出更高效、更灵活的程序，适应不断增长的并发需求。在实际编程中...
进程基础知识总结（上）
小颜颜6035的博客
09-09 395
进程 进程的概念 python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。 进程的概念： 进程是程序的一次执行过程, 正在进行的一个过程或者说一个任务，而负责执行任务的则是CPU. 进程的生命周期： 当操作系统要完成某个任务时，它会创建一个进程。当进程完成任务之后，系统就会撤销这个进程，收回它所占用的资源。从创建到撤销的时间段就是进程的生命期 进程之间存在并发性： 在一个系统中，同时会存在多个进程。他们轮流占用CPU和各种资
python中线程和协程
make_progress的博客
10-09 693
实现协程有yield（yield是python自带的手动切换协程的模块）、 greenlet（greenlet是基于C实现的半自动切换协程的模块）、gevent（gevent是基于greenlet实现的自动切换协程的模块）三种方法实现协程。因此，python的单线程和多线程的运行效果相差不大。因此，推荐使用协程解决并发问题。协程（Coroutine）是单线程下的并发，又称微线程，纤程。它是一种用户态的轻量级线程，即是由用户程序自己控制调度的。Python实现线程，使用threading模块实现。
python线程与协程
qiuqiuit的专栏
01-04 344
一、线程 线程在任何编程语言中，都算是比较难的内容，python也不例外。先看看《流畅的python》书中的例子： #win7+python3.7 import threading import itertools import time import sys def spin(msg, done): # <2> write, flush = sys.stdout.write, sys.stdout.flush for char in itertools.cycle('
【PYTHON 进程\线程\协程】
jin_ao的博客
06-16 241
需要注意的是，Python的threading模块虽然可以实现多线程编程，但由于GIL（全局解释器锁）的存在，多线程并不能真正地实现并行执行，而只能实现并发执行。更小的开销：协程的创建和切换开销都比线程和进程要小，因为协程是在同一个线程中运行的，不需要进行上下文切换和内存分配等操作。总的来说，线程和进程都是操作系统中的重要概念，它们各自有自己的优缺点，应根据具体的应用场景选择合适的方式来实现并发编程。更高的并发性：协程的并发性可以达到线程和进程的水平，因为可以在同一个线程中运行多个协程，从而实现并发执行。
python(十)线程与进程（中）：进程、协程
人生就是一场修行
10-11 4441
一、上节回顾：线程 vs 进程1、线程：一组指令 内存共享 同时修改同一份数据时必须加锁，metex 互斥锁 递归锁 join 等待线程结束 启动一个线程： def run(): print("")t= threading.Thread(target=run, args(n,)) t.start() t.join # 等待所有结果，先把所有线程存起来 守护线程：setDaemon(Tru
线程和协程详解-python
gaogzhen的博客
01-14 433
1、前言 关于基本概念部分这里不再详述，可以参考之前的文章或者自行查阅相关文章。 由于python中线程的创建、属性和方法和进程很相似，这里也不再讲解。 这里重点讲解下多线程访问共享数据的相关问题。 2、多线程数据完全与解决 先看下示例：预测并执行看下结果是否和预测一致 from threading import Thread sum = 0 def minus(): global sum for i in range(1000000): sum += 1 def
Python 的进程、线程和协程
Looking的博客
03-27 485
线程是进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位.线程自己基本上不拥有系统资源,只拥有一点在运行中必不可少的资源(如程序计数器,一组寄存器和栈),但是它可与同属一个进程的其他的线程共享进程所拥有的全部资源。协程调度切换时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复先前保存的寄存器上下文和栈，直接操作栈则基本没有内核切换的开销，可以不加锁的访问全局变量，所以上下文的切换非常快。因此，没有线程切换的开销，和多线程比，线程数量越多，协程的性能优势就越明显。
Python 进程、线程、协程
qq_60271706的博客
10-06 1368
计算机系统抽象组成： CPU + 存储器 + IO时间片（timeslice）又称为 “量子”（quantum）或 “处理器片”（processor slice），是分时操作系统分配给每个正在运行的进程微观上的一段 CPU 时间（在抢占内核中是：从进程开始运行直到被抢占的时间）。对于单核cpu同一时刻只能有一个任务运行。1. 并发：交替执行（某时间段内的处理能力）2. 并行：同时执行线程（Thread）：是操作系统最小的调度单位， 是一串指令的集合。
Python实现多线程、多进程及协程
qq_42568323的博客
09-09 2367
本文详细介绍了 Python 中多线程、多进程和协程的并发模型及其实现方式，并通过具体场景演示了如何使用面向对象思想实现这些模型。在实际应用中，应根据任务的类型和需求选择合适的并发模型，从而优化程序的性能和资源利用率。本文将详细介绍 Python 中的多线程、多进程和协程的概念及其实现方式，并通过具体场景展示如何在 Python 中使用面向对象的思想实现这些并发模型。接下来，我们通过一个计算密集型任务的示例来演示多进程的实现：计算一系列大数字的阶乘。主程序中创建并启动了多个计算进程，并使用。
[Python系列] 线程、协程、进程和分布式
u013379032的博客
07-11 1782
在了解什么是多线程之前，我们需要先了解线程。线程，是程序执行时的最小单位，是CPU调度和分配的基本单位。多线程是指在单个程序中同时执行多个任务的过程，每个任务被称为一个线程。在一个多线程程序中，每个线程都可以独立地运行，直到它们被中断或手动停止。多线程的好处是，它能够充分利用多核处理器的优势，提高程序的执行效率。同时，多线程也能够使程序更加灵活，可以根据不同的任务需求来分配不同的线程，从而更好地满足用户的需求。
python中线程，进程，协程
最新发布
06-05
<think>我们正在回答用户关于Python中线程、进程和协程的区别与用法的问题。根据系统级指令，需要：1.使用$...$格式的行内数学表达式（但本问题可能较少涉及数学表达式，若有则需注意）2.独立公式使用$$...$$格式并单独成段（同样，本问题可能较少涉及）3.LaTeX语法正确4.使用中文回答5.生成相关问题6.回答中引用的段落末尾自然地添加引用标识用户的问题：我想了解Python中线程、进程和协程的概念及使用方法请问Python线程进程协程区别与用法我们参考了用户提供的引用[1]、[2]、[3]，其中：引用[1]提到Python的GIL（全局解释器锁）导致同一时刻只有一个线程运行，目的是确保线程安全。引用[2]展示了Python中线程的创建和守护线程的设置，以及线程间的执行顺序。引用[3]简单介绍了协程的概念。但是，用户的需求是了解线程、进程和协程的概念、区别以及使用方法。因此，我们将按以下结构组织回答：1.进程（Process）的概念和用法2.线程（Thread）的概念和用法（包括GIL的影响）3.协程（Coroutine）的概念和用法4.三者的区别和应用场景5.代码示例（包括进程、线程、协程的创建）注意：在回答中，如果引用到用户提供的引用内容，需要在末尾添加引用标识[^1]、[^2]、[^3]。由于引用内容已经给出，但我们在回答中也需要引用一些常识性的知识，但要求引用标识只对用户提供的引用进行标注，所以：在提到GIL时，我们可以引用[^1]；在提到线程守护和线程执行顺序时引用[^2]；在提到协程的概念时引用[^3]。但是，请注意，用户提供的引用[^3]内容较少，我们可能还需要补充其他来源的知识（但用户没有提供其他引用，因此我们主要依靠自己的知识库，并在必要时引用这些已有的引用）。由于要求生成相关问题，在回答最后需要添加“§§相关问题§§”部分。开始编写回答：</think> ### Python 线程、进程和协程：概念、区别与用法详解 #### 1. **进程 (Process)** - **概念**：操作系统资源分配的基本单位，拥有独立的内存空间（如 Python 中每个进程有独立的 GIL 和解释器）。 - **用法**：适用于 CPU 密集型任务（如科学计算），通过 `multiprocessing` 模块实现： ```python from multiprocessing import Process def task(): print("进程执行中") if __name__ == '__main__': p = Process(target=task) p.start() # 启动子进程 p.join() # 等待子进程结束 ``` - **优点**：隔离性强，避免内存冲突；可充分利用多核 CPU。 - **缺点**：创建和切换开销大，进程间通信（IPC）复杂（需队列、管道等）。 #### 2. **线程 (Thread)** - **概念**：进程内的执行单元，共享同一进程的内存空间，但受 **GIL（全局解释器锁）** 限制。 - **GIL 影响**：无论多少 CPU 核心，Python 线程同一时刻仅一个线程运行（确保数据安全）[^1]。 - **用法**：适用于 I/O 密集型任务（如网络请求），通过 `threading` 模块实现： ```python import threading def task(): print("线程执行中") thread = threading.Thread(target=task) thread.start() # 启动线程 thread.join() # 等待结束 ``` **守护线程**：主线程结束则自动终止（`daemon=True`）[^2]。 - **优点**：轻量级，切换开销小；共享数据方便（需加锁避免竞态条件）。 - **缺点**：GIL 限制多核性能；需处理线程同步问题（如死锁）。 #### 3. **协程 (Coroutine)** - **概念**：用户级轻量级线程，通过协作式调度而非抢占式调度，在单线程内实现并发[^3]。 - **用法**：Python 3.5+ 通过 `asyncio` 和 `async/await` 实现： ```python import asyncio async def task(): print("协程开始") await asyncio.sleep(1) # 非阻塞 I/O 操作 print("协程结束") asyncio.run(task()) # 执行协程 ``` - **优点**：无锁、无 GIL 限制；资源开销极小（可同时启用数万个协程）；适合高并发 I/O。 - **缺点**：无法利用多核；需配合异步库（如 `aiohttp`）使用。 --- ### **三者的核心区别** | 特性 | 进程 | 线程 | 协程 | |-------------|-------------------------|-------------------------|-------------------------| | **隔离性** | 高（独立内存） | 低（共享内存） | 无（共享线程资源） | | **开销** | 高（创建/切换慢） | 中等 | 极低（无内核切换） | | **并发性** | 多核并行 | 伪并行（受 GIL 限制） | 单线程并发 | | **适用场景**| CPU 密集型任务 | I/O 密集型任务 | 超高并发 I/O 任务 | | **数据共享**| 需 IPC（队列、管道等） | 需同步机制（锁、信号量）| 无需同步（异步调度） | --- ### **使用场景总结** 1. **进程**：处理图像渲染、数值计算等 CPU 重负载任务（需并行计算）。 2. **线程**：文件读写、网络请求等 I/O 等待场景（GIL 在 I/O 时释放）[^1]。 3. **协程**：Web 服务器（如每秒处理数万请求）、爬虫并发（`asyncio` + `aiohttp`）。 > **关键点**：Python 多线程虽受 GIL 限制，但在 I/O 等待期间释放锁，允许其他线程运行，因此仍能加速 I/O 密集型任务[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值