Python中的并发和并行

最新推荐文章于 2025-07-01 07:09:25 发布
原创 最新推荐文章于 2025-07-01 07:09:25 发布 · 284 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #开发语言

本文探讨了并发和并行的区别，指出并发主要指单核CPU中的任务交替执行，而并行则涉及多核CPU的同步任务处理。在Python中，由于GIL的存在，多线程模型只能实现并发，而多进程模型则可以利用多核实现并行。文章还介绍了Python中多线程和多进程的使用，并提供相关学习资源。

并发和并行

  • 并行是指两个或者多个事件在同一时刻发生，而并发是指两个或多个事件在同一时间间隔发生。
  • 并行是在不同实体上的多个事件，并发是在同一实体上的多个事件。

并发针对单核 CPU 而言，它指的是 CPU 交替执行不同任务的能力；并行针对多核 CPU 而言，它指的是多个核心同时执行多个任务的能力。

单核 CPU 只能并发，无法并行；换句话说，并行只可能发生在多核 CPU 中。

并发只有结合 I/O 多路复用、异步 I/O 才能实现并发能力。

Python 中并发/并行和多线程/多进程模型的关系

线程和并发/并行

首先了解一下线程的概念：

在操作系统中，线程是 CPU 调度和执行任务的基本单位，是进程中的一条执行流。进程是资源分配的基本单位，每个进程都至少有一个线程，多个线程共享所属进程的内存空间。

我们说并发是指同一时间段内 CPU 交替执行不同任务，其实就是 CPU 不断切换执行线程。线程是最小执行单元。

那么并发 = 单核 CPU 多个线程交替切换执行，并行 = 多核 CPU 多个线程同时执行。

在大多数语言如 Java 中，多个线程是可以在多核 CPU 上执行的，Java 多线程模型 = 并发 + 并行

Python 并发/并行

在 Python 中存在 GIL （全局解释器锁），同一进程同一时刻，只能有一个线程执行。即使没有单核 CPU 的物理限制，但程序被加锁，所以 Python 的多线程模型不能利用多核 CPU。

Python 的多进程模型可以有效利用多核 CPU，因为每一个进程都有独立的 Python 解释器、独立的 GIL。GIL 只保证同一个 Python 解释器进程同一时刻只有一个线程执行，在多进程模型中不受约束。

所以，在 Python 中，多线程模型因为 GIL 限制只能实现并发，可以简单的理解为：

Python 并发 = 多线程模型

Python 并行 = 多进程模型

Python 使用多线程 & 多进程

python多线程&多进程.png

---------------------------END---------------------------

题外话

当下这个大数据时代不掌握一门编程语言怎么跟的上脚本呢？当下最火的编程语言Python前景一片光明！如果你也想跟上时代提升自己那么请看一下.

在这里插入图片描述

感兴趣的小伙伴，赠送全套Python学习资料，包含面试题、简历资料等具体看下方。

👉优快云大礼包🎁：全网最全《Python学习资料》免费赠送🆓！（安全链接，放心点击）

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

img
img

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！img

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

img

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

img

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。img

六、面试宝典

在这里插入图片描述

在这里插入图片描述

简历模板在这里插入图片描述
Python_P叔
关注
Python中的并发与并行实现：原理与实例
windowshht的博客
04-22 1374
在Python编程中，并发和并行是两个重要的概念，它们能够帮助我们充分利用多核处理器，提高程序的执行效率。需要注意的是，由于Python的全局解释器锁（GIL）的存在，Python的线程在CPU密集型任务上并不能实现真正的并行。但是，通过任务切换，我们可以让多个任务交替执行，从而给用户一种多个任务同时执行的错觉。通过本文的介绍和实例演示，我们希望读者能够更深入地理解Python中的并发和并行概念，并能够在实际编程中灵活运用这些技术来提高程序的执行效率。函数中，我们创建了一个任务列表，并使用。
使用Python进行并发和并行编程：提高效率的秘诀
Asunqingwen的博客
06-18 1409
​ 通过学习并应用Python中的并发和并行编程技术，我们可以显著提升程序的效率和性能。希望大家在实际项目中多多尝试使用这些技术，提升代码的运行效率。如果你有任何问题或想法，欢迎在评论区留言。
python join_python线程join方法
weixin_39684495的博客
11-20 217
转载：http://www.cnblogs.com/cnkai/p/7504980.htmlPython多线程与多进程中join()方法的效果是相同的。下面仅以多线程为例：首先需要明确几个概念：知识点一：当一个进程启动之后，会默认产生一个主线程，因为线程是程序执行流的最小单元，当设置多线程时，主线程会创建多个子线程，在python中，默认情况下（其实就是setDaemon(False)），主线程执...
python基础之实现并发和并行
m0_63836635的博客
09-14 3511
python的多进程、多线程以及协程
Python 并行与并发详解!
Pythoncxy的博客
07-08 1847
在 Python 中关于并发/并行的实现方式（库）有很多，于是我打算做个总结方便今后查阅。其实查阅文档，别的不好说，对于 Python，最好的方式就是查阅官方文档，除了少了些例子，几乎是完美的，所以本文只会列出常用的方法与属性。 基础概念 并行 Python学习交流群：1004391443 并行（parallelism），就是同时执行的意思，所以单线程永远无法达到并行状态，利用多线程和多进...
Python中的并行性和并发性（概念+代码）
编程故事的地方
10-03 321
嗨伙计 ！！ 希望所有编程爱好者都做得不错。 在本文中，我们将讨论python中的并发和并行性。 在这里，我们将研究多线程，多处理，异步编程，并发和并行性，以及如何使用这些概念来加快python中的计算任务。 因此，在不浪费时间的情况下，让我们开始吧。 [我已经假设您对python有一定的了解。 如果没有，我建议您在继续之前先阅读这篇文章： https://hackernoon.com/py...
15个Python的并发和并行编程的代码示例集合.docx
06-04
在Python编程中，并发和并行编程是提升程序性能的关键技术。这些技术允许程序同时执行多个任务，从而充分利用多核处理器的能力。以下是对给定文件中提供的五个不同代码示例的详细解释： 1. **多线程实现并发**： ...
Python中的并发、并行与异步处理：简单入门指南
engchina的专栏
10-24 1010
Python中的并发、并行与异步处理：简单入门指南
python并发编程(并发与并行，同步和异步，阻塞与非阻塞）
02-24
但在这当中，发现一些概念区分起来很难，比如并发和并行，同步和异步，阻塞和非阻塞，但是这些概念却很重要。因此在此把它总结下来。并发：在操作系统中，是指一个时间段中有几个程序都处于已启动运行到运行完毕之间...
python实现并发和并行的方式有哪些_Python中的并行性和并发性
weixin_39603327的博客
02-20 351
在Python编程语言当中，很多人对Python中的并行性和并发性不了解。今天我们将讨论python中的并发和并行性。在这里，我们将研究Python的多线程，多处理，异步编程，并发和并行性。我们使用python的多处理模块来实现并行性，而Python中的并发是通过线程和异步IO模块来实现的。并行运行的程序将被称为并发，但事实并非如此因此，在不浪费时间的情况下，让我们开始吧。平行性这意味着要同时以相...
python 并发 并行
EveyD的博客
07-02 879
死锁产生的前三个条件是死锁产生的必要条件，也就是说要产生死锁必须具备的条件，而不是存在这3个条件就一定产生死锁，那么只要在逻辑上回避了第四个条件就可以避免死锁。避免死锁采用的是允许前三个条件存在，但通过合理的资源分配算法来确保永远不会形成环形等待的封闭进程链，从而避免死锁。该方法支持多个进程的并行执行，为了避免死锁，系统动态的确定是否分配一个资源给请求的进程。如果会死锁，则不分配，否则就分配。要求每个进程必须先知道资源的最大需求量，且在系统运行过程中，考察每个进程对各类资源的申请需要花费较多的时间。
【Python】并发与并行
weixin_42914989的博客
11-06 1364
GIL（Global Interpreter Lock，全局解释器锁）是Python解释器为了简化内存管理和保证线程安全而引入的一种机制。GIL限制了在同一时间只能有一个线程执行Python字节码，从而防止多线程并发访问共享数据导致的不一致问题。性能开销：GIL 的存在使得在 CPython 中执行 CPU 密集型任务的多线程性能不高，因为每次线程切换都需要竞争 GIL，带来资源开销。因此，对于 CPU 密集型任务，推荐使用多进程（例如模块）以充分利用多核 CPU。I/O 密集型任务的多线程。
python并发与并行
allen的博客
06-15 451
并发与并行的区别 并发：concurrency。单个cpu+多道技术就可以实现并发 并行：parallel：同时运行，只有具备多个cpu才能实现并行 使用场景 计算密集型 多核CPU multiprocessing Joblib sklearn.externals.joblib 分布式 parallel Celery redis rabbitmq demo test GPU 自己写CUDA内核 numba cupy pycuda pyopencl mars IO密集
（十三）python之并发编程（线程）
Sean_0819的博客
08-06 1512
python之并发编程（线程、队列、进程、协程、进程线程协程对比
Python并发与并行
白切鸡 PYTHON
03-15 1719
简明介绍 Python 多线程 多进程的基本使用
python中的并发
方方洛的博客
03-13 2942
python中的并发，CPU密集型任务是说程序中存在大量的计算操作，CPU在程序运行期间处于忙碌状态，因为计算量太大导致程序运行的时间过长，此时提升CPU的性能可以缩短程序的运行时间。对于CPU密集型任务，使用并行机制来缩短程序的运行时间，程序的运算量可以看作是固定的，程序同时使用的CPU越多，总的运算量减少的就会越快，进而程序的运行时间就会缩短。python中使用thread和async来支持并发，因为GIL的限制，python在使用这两个功能时也还是单线程执行的，
python 并发与并行
最新发布
qq_37805832的博客
07-01 369
并发：快速切换任务，提升CPU利用率和响应速度，单核也能实现。并行：多核CPU真正同时执行多个任务，提升整体处理能力。程序需要并发/并行，是为了提升性能和容错性，让系统更高效、更健壮。
Python之路 34：并发与并行、锁（GIL、同步锁、死锁与递归锁）、信号量、线程队列、生消模型、进程（基础使用、进程通信、进程池、回调函数）、协程
DLNovice的博客
02-03 1230
内容： 同步锁 死锁、递归锁 信号量和同步对象（暂时了解即可） 队列------生产者和消费者模型 进程（基础使用、进程通信、进程池、回调函数） 协程 一、并发并行与同步异步的概念 1.1、并发和并行 概念 并行处理（Parallel Processing）是计算机系统中能同时执行两个或更多个处理的一种计算方法。并行处理可同时工作于同一程序的不同方面。并行处理的主要目的是节省大型和复杂问题的解决时间。 并发处理(concurrency Processing)：指一个时间段中有几
Python 多线程教程：并发与并行
m0_59485658的博客
02-08 3609
如果你的代码是IO密集型的，线程和多进程可以帮到你。多进程比线程更易用，但是消耗更多的内存。如果你的代码是CPU密集型的，多进程就明显是更好的选择——特别是所使用的机器是多核或多CPU的。对于网络应用，在你需要扩展到多台机器上执行任务，RQ是更好的选择。
python中串行和并行
06-07
<think>首先，用户的问题是：“我想了解Python中串行和并行的概念及实现方式请问Python串行与并行处理的区别及实现方法”。用户提供了站内引用，包括引用[1]到[5]，我需要参考这些引用来回答。引用内容总结：-[1]:讨论并行计算的方法，如多进程（multiprocessing.Process），用于绕过GIL的限制，适合CPU密集型任务。还提到concurrent.futures。-[2]:描述用map函数实现并行，使用multiprocessing或multiprocessing.dummy（线程池）。强调并行化map函数的便利性。-[3]:线程的创建方式，使用threading.Thread，代码示例展示了多线程执行任务。-[4]:提到协程并行处理，协程池，速率控制，以及串行和并行的对比。-[5]:解释串行与并行处理的区别，并发的概念，以及它们如何通过CPU时间片实现。系统级指令：-所有行内数学表达式必须使用$...$，但由于用户问题不涉及数学，我可能不需要它，除非有数学内容。-独立公式使用$$...$$单独成段，同样，可能不适用。-LaTeX语法正确：确保如果有数学表达式，使用正确的LaTeX。-使用中文回答。-生成相关问题：在回答结尾添加相关问题列表。-引用中添加引用标识：例如[^1]，在引用的段落末尾添加。-回答结构清晰，逐步解决问题。用户上次的问题是隐式的，因为在用户消息中没有历史；只有系统指令和当前问题。所以，我需要基于当前查询。我的回答结构：1.解释串行和并行的概念。2.在Python中的实现方式。-串行：简单顺序执行。-并行：-多线程：threading，ThreadPool（multiprocessing.dummy）-多进程：multiprocessing.Process-协程：asyncio,concurrent.futures-参考引用中的例子。3.区别：-性能：并行适合IO密集或CPU密集任务。-GIL限制：线程受到GIL限制，进程不。-同步与异步。4.添加相关示例代码片段（可选，因为用户提供了例子，我可以引用）。5.结束生成相关问题。生成相关问题：在末尾添加3-5个相关问题，使用§§相关问题§§格式。确保回答可靠：基于标准Python知识和引用内容。大纲回答：-引言：概述串行和并行。-串行处理：解释概念和简单例子。-并行处理：-线程：基于[3]和[5]，用于IO密集。-进程：基于[1]，用于CPU密集。-协程：基于[4]，异步IO。-并发库：concurrent.futures[^1]。-区别：基于[5]，并行vs并发，性能影响。-实现代码：参考提供的代码片段。-总结：何时使用什么。-相关问题列表。语言：中文。添加引用标识：例如，当提到引用内容时，在末尾加[^n]。例如："在Python中，串行处理是指任务的顺序执行，一个接一个。并行处理则是同时执行多个任务，提升效率[^5]。"相关问题生成：-针对串行和并行的常见错误？-如何优化并行代码？-Python中并行计算的GIL问题如何解决？-实际应用场景？-协程与线程的区别？</think> ### Python 串行与并行处理的区别及实现方法 在Python编程中，处理任务的方式分为**串行处理**和**并行处理**，它们直接影响程序的性能和效率。下面我将逐步解释两者的概念、区别，并结合Python的实现方式，包括代码示例，确保内容清晰易懂。回答中引用了提供的站内资料，力求准确可靠。 #### 1. **串行处理的概念与实现** **概念**：串行处理是指任务依次执行，即在一条流水线上完成：一个任务开始、执行、结束后，才进行下一个任务。这种方式简单直观，但效率较低，因为它不利用多核CPU的资源[^5]。 **区别核心**：串行本质是顺序操作，适用于任务间依赖性强或数据共享高的场景；并行则能同时处理多个任务。 **Python实现**：Python默认执行模式是串行的，可通过普通函数或循环实现，无需额外库。例如，一个串行任务示例： ```python # 串行示例：顺序计算任务 import time def task(n): time.sleep(1) # 模拟耗时操作 return n * n start = time.time() results = [] for i in range(3): results.append(task(i)) print(f"串行结果: {results}, 耗时: {time.time() - start:.2f}秒") # 输出类似: 串行结果: [0, 1, 4], 耗时: 3.00秒（每个任务耗时1秒） ``` 在这个例子中，任务循环调用 `task` 函数，顺序执行，每个任务等待前一个完成（如 `time.sleep` 模拟IO等待）。串行处理的限制是CPU利用率低，不适合高负载任务[^4]。 #### 2. **并行处理的概念与实现** **概念**：并行处理是指多个任务同时执行，通常利用多核CPU资源（如进程并行）或异步机制（如线程、协程并行），提升效率。并行适用于IO密集型或CPU密集型任务[^1][^5]。并行与**并发**（concurrency）的区别在于：并行是真正同时运行任务（如多进程），并发是任务通过切换时间片模拟“同时”（如多线程受GIL限制）[^5]。 **核心区别**： - **并行**：物理同时执行（多个CPU核心）。 - **并发**：逻辑同时执行（单个CPU切换任务）。 并行处理在Python中主要有三种实现方式： **a. 多线程（Threading）** 适用于IO密集型任务（如网络请求），因为线程共享内存资源，切换开销小。但受Python的全局解释器锁（GIL）限制，无法真正利用多核CPU并行计算[^3][^5]。 **实现示例**：使用 `threading` 模块创建线程池（dummy模块）。 ```python # 并行多线程示例：模拟IO任务 from threading import Thread import time def worker(num): time.sleep(1) # 模拟IO操作 print(f"Worker: {num} 完成") start = time.time() threads = [] for i in range(3): t = Thread(target=worker, args=(i,)) threads.append(t) t.start() # 启动线程 for t in threads: t.join() # 等待所有线程结束 print(f"并行多线程耗时: {time.time() - start:.2f}秒") # 输出类似: Worker: 0 完成\nWorker: 1 完成\nWorker: 2 完成耗时约1秒 ``` 在这个例子中，多个线程同时启动，共享 `worker` 函数。通过线程池（如 `multiprocessing.dummy` 的 `Pool`），能更简化并行 `map` 操作[^2]。 **b. 多进程（Multiprocessing）** 适用于CPU密集型任务（如数学计算），因为每个进程独立运行，绕过GIL限制，完全利用多核CPU[^1][^5]。 **实现示例**：使用 `multiprocessing.Process` 或 `concurrent.futures`。 ```python # 并行多进程示例：CPU密集型任务 from multiprocessing import Process import time def task(num): # 模拟CPU计算 start = time.perf_counter() _ = sum(i*i for i in range(10**6)) # 大量计算 print(f"Process {num} 完成, 用时: {time.perf_counter() - start:.2f}秒") start = time.time() processes = [] for i in range(3): p = Process(target=task, args=(i,)) processes.append(p) p.start() for p in processes: p.join() print(f"并行多进程总耗时: {time.time() - start:.2f}秒") # 输出类似: Process 0 完成... 总耗时约最大单任务时间（并行加速） ``` 使用 `concurrent.futures` 的线程池或进程池可进一步简化： ```python from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor # 线程池（适合IO） with ThreadPoolExecutor(max_workers=3) as executor: results = list(executor.map(worker, range(3))) # 进程池（适合CPU） with ProcessPoolExecutor() as executor: results = list(executor.map(task, range(3))) # map函数简化并行[^1][^2] ``` **c. 协程（Coroutines）** 适用于高并发IO任务（如Web请求），协程是轻量级线程，通过异步非阻塞操作提升吞吐量。协程池控制速率，避免资源消耗过大[^4]。 **实现示例**：使用 `asyncio` 库或 `concurrent.futures` 结合 async/await。 ```python # 并行协程示例：异步IO任务 import asyncio async def async_worker(num): await asyncio.sleep(1) # 异步IO等待 return num async def main(): tasks = [async_worker(i) for i in range(3)] results = await asyncio.gather(*tasks) # 并行执行 print(f"协程结果: {results}, 用时短") asyncio.run(main()) # 输出: 协程结果: [0, 1, 2], 用时约1秒（相比串行大幅提速） ``` 协程的优势在于高并发下的效率，但需要事件循环支持[^4]。 #### 3. **核心区别总结** - **性能影响**： - 串行：效率低，耗时线性增长（时间 ∝ 任务数）。 - 并行：效率高，耗时接近最大单任务时间（近似 $O(1)$ 加速比），但进程间通信（IPC）可能带来开销[^1][^5]。 - **适用场景**： - 串行：任务依赖强（如顺序数据处理）、简单脚本。 - 并行：CPU密集（多进程）、IO密集（多线程或协程）[^1][^4]。 - **风险点**：并行可能导致竞态条件（需同步机制），资源消耗高；串行则易于调试但扩展性差[^3][^5]。 实际项目中，选择依据任务类型：IO密集型用线程或协程，CPU密集型用进程。工具上， `concurrent.futures` 库统一管理并行模式[^1][^2][^4]。 #### 4. **注意事项与最佳实践** - **GIL问题**：线程并行受GIL限制，不适合纯计算；用多进程规避[^1]。 - **错误处理**：并行中异常传播需 `try-except` ，用 `futures` 库封装易管理。 - **性能权衡**：并行加速非无限，Amdahl定律 $S = \frac{1}{(1 - P) + \frac{P}{N}}$ 表明，并行部分 $P$ 越大，加速比 $S$ 越高（$N$ 为核数）[^5]。 - **推荐工具**：优先用 `concurrent.futures` 或 `asyncio`，简化代码。 Python的并行处理能显著提升效率，但需根据任务特征选择正确模式，避免过度设计或资源浪费[^4][^5]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值