python thread VS async

最新推荐文章于 2023-04-23 21:43:22 发布
翻译 最新推荐文章于 2023-04-23 21:43:22 发布 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://krondo.com/in-which-we-begin-at-the-beginning/
文章标签：

#python

本文探讨了async代码相较于threading的三个优势：代码线程安全性增强，内存占用更少，以及对平台资源需求较低。通过实例说明了如何避免竞态条件和共享栈的问题，以及async如何简化内存管理。

python - Threads vs. Async - Stack Overflow

https://krondo.com/in-which-we-begin-at-the-beginning/

与threading相比， async的优势表现为3点：

  1. It is very difficult to write code that is thread safe. With asyncronous code, you know exactly where the code will shift from one task to the next and race conditions are therefore much harder to come by.
  2. Threads consume a fair amount of data since each thread needs to have its own stack. With async code, all the code shares the same stack and the stack is kept small due to continuously unwinding the stack between tasks.
  3. Threads are OS structures and are therefore more memory for the platform to support. There is no such problem with asynchronous tasks.

大致意思：

1. 代码很难保证线程时安全的，而async 代码，可以很清楚的看到代码之间的调换/执行过程

2.每个线程有自己单独的栈，而async代码之间共享栈

3. 线程比较耗内存

令羽飞飞
关注
Python `async` 和 `asyncio` 区别； `asyncio.Lock` 和 `threading.Lock`区别
ZJQ的博客
04-02 295
都用于实现锁机制，以保护共享资源，防止多个任务或线程同时访问而引发数据竞争问题。调用它时，不会立即执行函数体中的代码，而是返回一个协程对象。异步函数的返回值是一个协程对象，而不是立即执行函数体中的代码。函数会创建一个事件循环，并运行传入的异步任务。来创建任务，并将其添加到事件循环中进行调度。的核心，负责调度和执行异步任务。也可以用于定义异步生成器，通过。语句来迭代异步生成器产生的值。语句来迭代异步生成器产生的值。是一个异步生成器，它通过。关键字来定义一个函数时，创建了一个异步锁，在。创建了一个同步锁，在。
python Threads and ThreadPoolExecutor and async
止语的博客
12-03 1853
python 进程和进程池
使用python处理23个G（约一千万条）的文本所需时间，线程Thread跟协程async、await对比
qq_44657868的博客
08-23 1498
使用的都是python内置的库跟函数，每一个文件使用一个线程，读取一行先截取字符串判断name是否等于张三，后用json模块将每一行转换为dict类型获取时间戳转换为“年-月-日”格式放到一个字典里面，每一个独立的日期为key，值为列表套字典格式，筛选出来的完全足够放在内存中，而不用先写入文件。2、 将排序好的结果重新写⼊新的⽂件，规则如下： 按照 timestamp 以天为维度组织⽂件，新⽂件的命名规则为 年-月-日，例如(2022-1-12)， 将所有位于同⼀天的数据存放于同⼀个⽂件中。...
python async await_Python从使用线程到使用async/await的深入讲解
weixin_39909212的博客
12-03 282
前言为了简化并更好地标识异步IO，从Python 3.5开始引入了新的语法async和await，可以让coroutine的代码更简洁易读。请注意，async和await是针对coroutine的新语法，要使用新的语法，只需要做两步简单的替换：把@asyncio.rotoutine替换为async；把yield from替换为await。async/await 是一种异步变成方法，还有两种你可能听...
python async await threading_Python3 异步IO--async/await
weixin_34593927的博客
01-28 311
Python3 异步IO--async/await用asyncio提供的@asyncio.coroutine可以把一个generator标记为coroutine类型，然后在coroutine内部用yield from调用另一个coroutine实现异步操作。为了简化并更好地标识异步IO，从Python 3.5开始引入了新的语法async和await，可以让coroutine的代码更简洁易读。请注意...
python async await threading_Python threading/asyncio
weixin_39715460的博客
12-23 481
多執行序範例方法一：threadingimport threadingimport requestsfrom pyquery import PyQuery as pq#宣告一個Threading並使用semaphore來控管執行數量( 最大值行數量 )sema = threading.BoundedSemaphore(10)# 定義一個函式進程def ThreadSample( 參數1 , 參數2...
Python与多进程、多线程——multiprocessing、threading、async/await
lucky_chaichai的博客
04-21 2015
1、multiprocessing模块 1）使用进程池pool： pool( )类：指定进程池中同时执行的进程数为8，当一个进程执行完毕后，如果还有新进程等待执行，则会将其添加进去。 pool.apply_async( )：为非阻塞，即不用等待当前运行的子进程执行完毕（各子进程并行执行，且主进程与子进程之间、各子进程之间都不会互相等待），随时根据系统调度来进行进程切换。 pool.apply( )：阻塞型，各子进程需依次执行，主进程会被阻塞直到函数执行结束 【多进程执行过程中，子进程出错时，将直接跳出，执
【python】async异步编程
染柒的博客
06-10 6013
async异步编程
python中stop_thread_Python 终止线程
weixin_36111033的博客
01-29 2465
import timefrom threading import Threadimport inspectimport ctypesdef _async_raise(tid, exctype):"""Raises an exception in the threads with id tid"""if not inspect.isclass(exctype):raise TypeError("On...
AsyncTask(异步)和Thread(线程)的使用与对比
meng425841867的专栏
01-13 1万+
AsyncTask(异步)和Thread(线程)的使用与对比 一、①AsyncTask的使用     当一个异步任务被执行，任务经过四各步骤： 1．onPreExecute()，在UI线程上调用任务后立即执行。这步通常被用于设置任务，例如在用户界面显示一个进度条。 2．doInBackground(Params...)，后台线程执行onPreExecute()完后立即调用，这步被用
Python并发编程【(一)理论】：多线程thread、多进程Process、协程Coroutine(async await)
*
12-19 2898
Python对并发编程的支持 ●多线程: threading, 利用CPU和IO可以同时执行的原理,让CPU不会干巴巴等待IO完成 ●多进程: multiprocessing, 利用多核CPU的能力，真正的并行执行任务 ●异步IO: asyncio, 在单线程利用CPU和IO同时执行的原理，实现函数异步执行， ●使用Lock对资源加锁，防止冲突访问 ●便用Queue实现不同线程/进程之间的数据通信，实现生产者-消费者模式 ●使用线程池Pool/是程池Pool,简化线程/进程的任务提交、等待结束、获取结果 ●
python async await threading_python-复盘-异步IO/协程／asyncio/async/await
weixin_39949584的博客
01-28 236
异步IOCPU的速度远远快于磁盘、网络等IO。在一个线程中，CPU执行代码的速度极快，然而，一旦遇到IO操作，如读写文件、发送网络数据时，就需要等待IO操作完成，才能继续进行下一步操作。这种情况称为同步IO。在IO操作的过程中，当前线程被挂起，而其他需要CPU执行的代码就无法被当前线程执行了。因为一个IO操作就阻塞了当前线程，导致其他代码无法执行，所以我们必须使用多线程或者多进程来并发执行代码，为...
AsyncTask 和 Thread 区别
weixin_33814685的博客
01-24 246
一、AsyncTask是封装好的线程池，比起Thread+Handler的方式，AsyncTask在操作UI线程上更方便，因为onPreExecute()、onPostExecute()及更新UI方法onProgressUpdate()均运行在主线程中，这样就不用Handler发消息处理了；二、我不太同意封装好就会影响性能的说法，在我实际的运用中，真正的缺点来自于AsyncTask的全局线程池只有...
python async await threading_Python从使用线程到使用async/await的深入讲解
weixin_29962473的博客
02-09 882
前言为了简化并更好地标识异步IO，从Python 3.5开始引入了新的语法async和await，可以让coroutine的代码更简洁易读。请注意，async和await是针对coroutine的新语法，要使用新的语法，只需要做两步简单的替换：把@asyncio.rotoutine替换为async；把yield from替换为await。async/await 是一种异步变成方法，还有两种你可能听...
自学 python 中的异步编程 asyncio (五)：asyncio 与 线程thread
m0_61560439的博客
04-23 1742
更符合异步编程的理念，代码更加简洁易懂。但是由于协程是依赖事件循环的，如果在主线程中不小心使用了阻塞操作，会导致整个事件循环阻塞，从而影响所有异步任务的执行。在这个示例中，这两个调用都返回的是同一个事件循环对象。来运行程序，因此它会自动创建事件循环并运行我们的。方法创建的新事件循环中，没有任何任务在运行。需要注意的是，一个线程只能有一个默认事件循环。然后，我们在这个事件循环中运行了一个协程。方法是用于创建一个新的事件循环的方法。方法来创建一个新的事件循环。方法创建的新事件循环中，当前事件循环的方法。
Python 并发编程（三）对比（multiprocessing, threading, concurrent.futures, asyncio）
be5yond的博客
09-01 8835
1. 对比 Python 3.2 引入了concurrent.futures。 3.4版本引入了asyncio到标准库， python3.5以后使用async/await语法。 库 Class/Method 并发类型 适用任务 multiprocessing Pool 并行 cpu 密集型 concurrent.futures ProcessPoolExecutor 并行 cpu 密集型 threading Thread 并
C++——std::async和std::thread
qq_44745063的博客
11-08 1747
C++11中的thread和async
python 异步 async/await（进阶详解）
热门推荐
qq_43380180的博客
12-23 7万+
CPU的时间观 I/O（异步的瓶颈） 基础概念 进程/线程 阻塞/非阻塞 并发/并行 CPU调度策略 同步/异步 事件循环+回调 协程（异步） async/await asyncio事件循环（python3.6） asyncio事件循环（python3.7） async await asyncio.create_task() asyncio.futures对象 实例 参考
AsyncTask(异步)和Thread(线程)的对比
拒绝背八股文
04-26 1475
android应用程序的编写是在java的基础上进行的，android为了更方便的在线程中操作Ui，延伸出了AsyncTask，因此如果在做android的应用开发的时候，如果需要用到与界面相关的线程的时候首选AsyncTask，如果线程主要用来处理数据，不参与界面操作的时候尽量用Thread线程，因为Thread较AsyncTask比有很多优点（参考javaAPI），另外如果在应用中需要启动多个...
python MainThread卡死
最新发布
03-08
### Python MainThread 线程卡死的原因分析 当遇到 `MainThread` 卡死的情况时，通常是因为某些阻塞操作未能及时释放资源或完成执行。具体原因可能涉及多个方面： - **I/O 阻塞**：长时间运行的 I/O 操作可能导致主线程无法继续处理其他任务[^1]。 - **锁机制不当使用**：如全局解释器锁（GIL）、互斥锁等未正确管理，可能会引发死锁现象[^2]。 - **子进程通信异常**：如果通过 `multiprocessing.Queue` 或者类似的 IPC 方式进行跨进程数据交换时出现问题，则容易造成整个应用程序停滞不前[^3]。 针对上述情况，可以采取如下措施来预防并解决问题： #### 使用非阻塞方式替代同步等待 对于那些会触发网络请求或其他形式外部交互的任务来说，建议采用异步编程模型或是回调函数的方式来进行设计，从而避免因单一线程被占用而影响到整体性能表现。 ```python import asyncio async def fetch_data(url): print(f"Fetching data from {url}") await asyncio.sleep(1) # Simulate network delay with sleep. return {"status": "success", "data": []} async def main(): urls = ["http://example.com"] * 5 tasks = [fetch_data(url) for url in urls] results = await asyncio.gather(*tasks) print(results) if __name__ == "__main__": loop = asyncio.get_event_loop() try: loop.run_until_complete(main()) finally: loop.close() ``` 此代码片段展示了如何利用 `asyncio` 库实现并发 HTTP 请求而不必担心它们会使主事件循环陷入僵局状态。 #### 正确配置日志记录模块 为了避免由于多线程或多进程中共享同一个文件句柄而导致的竞争条件问题，在设置 logging handler 的时候应该特别注意其参数的选择以及初始化时机。 ```python import logging.handlers from multiprocessing import current_process, Queue as MPQueue from threading import Thread def worker_init(q: MPQueue): h = logging.handlers.QueueHandler(q) logger = logging.getLogger() logger.addHandler(h) logger.setLevel(logging.INFO) queue = MPQueue(-1) listener = logging.handlers.QueueListener( queue, *[logging.FileHandler('app.log')], respect_handler_level=True ) listener.start() for i in range(4): # Create four workers. p = Process(target=worker_target, args=(i,), kwargs={'q': queue}) processes.append(p) p.daemon = True p.start() # Ensure all logs are processed before exit. listener.stop() ``` 这里展示了一个安全的日志收集模式——即让各个工作单元向中心队列发送消息，再由专门监听该队列的服务负责实际写入磁盘的操作；这样既能够保持良好的响应速度又不会引起潜在冲突。 #### 合理规划进程间通讯渠道 在创建新的子进程之前，请务必确认所使用的管道、套接字或者其他任何类型的连接对象已经被妥善关闭，并且没有任何残留的数据包滞留在缓冲区内待传输完毕后再结束对应的工作流程。 ```python from multiprocessing import Pool, Manager def process_item(item_id, shared_dict): result = do_heavy_computation(item_id) lock.acquire() # Use a manager-based Lock to synchronize access between processes. try: shared_dict[item_id] = result finally: lock.release() with Manager() as mgr: items_to_process = list(range(8)) output_storage = mgr.dict() pool = Pool(processes=len(items_to_process)) async_results = [ pool.apply_async(process_item, (item, output_storage)) for item in items_to_process] _ = [res.wait(timeout=None) for res in async_results] final_output = dict(output_storage.items()) pool.join() ``` 这段示范说明了怎样借助于 `Manager()` 提供的安全容器类来协调不同实例间的协作关系，同时确保所有必要的清理动作都能被执行到位。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值