Python并行处理——多线程

本文探讨Python的并行处理,主要聚焦在多线程技术。通过示例解释了线程间的mutability、determinism、enforcing determinism的概念,以及如何使用互斥锁实现线程同步,确保数据一致性。最后讨论了原子操作在解决并发计数问题中的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Parallel Processing

并行处理利用多个CPU在同一时间处理多条指令,这是个很有用的技术,但是它带来的问题也是很多的,比如多个处理器怎么共享数据?这个会造成很多读写冲突,因此需要学会管理这些因素,写出更强大的代码来进行快速并有意义的数据分析。

Mutability

  • 在python中,有些变量像intergers,是不可变的。这意味着他们的值是不可变的。
def add1(x):
    x = x + 1
x = 5
add1(x)
print(x)
'''
5
'''
  • 但是像字典和列表是可变的,可以代表一些会改变的信息,并行处理中可变变量是很有用的,因为我们并行处理中会共享变量,而且几个处理器会编辑同一个变量。下面创建一个Counter类,看看变量是如何变化的:
class Counter():
    def __init__(self):
        self.count = 0
    def increment(self):
        self.count += 1
    def get_count(self):
        return self.count

def count_up_100000(counter):
    for i in range(100000):
        counter.increment()

counter = Counter()
initial_count = counter.get_count()
count_up_100000(counter)
final_count = counter.get_count()
print(final_count)
'''
100000
'''

Multithreadin

### 实现Python多线程并行图像处理 在Python中,为了提升图像处理的速度和效率,可以采用多线程技术来实现并行计算。由于CPU密集型操作受到全局解释器锁(GIL)的影响,在某些情况下可能不会显著加快速度;但对于I/O密集型任务或多核设备上的混合负载场景依然有效。 #### 创建线程池用于批量图片加载与预处理 使用`concurrent.futures.ThreadPoolExecutor`简化线程管理过程,它允许开发者轻松定义工作函数并通过提交任务给线程池执行的方式来进行并发运算[^1]。 ```python from concurrent.futures import ThreadPoolExecutor, as_completed import os from PIL import Image def process_image(image_path): try: with Image.open(image_path) as img: # 对图像做一些基本的操作比如调整大小、转换模式等 processed_img = img.resize((800, 600)).convert('L') save_name = f"{os.path.splitext(os.path.basename(image_path))[0]}_processed.jpg" processed_img.save(save_name) return {"status": "success", "file": save_name} except Exception as e: return {"status": "error", "message": str(e)} image_files = ["path/to/image1.png", "path/to/image2.png"] # 替换成真实的路径列表 with ThreadPoolExecutor(max_workers=4) as executor: # 设置最大线程数为4 futures = {executor.submit(process_image, file): file for file in image_files} for future in as_completed(futures): result = future.result() print(result["status"], ": ", result.get("file") or result.get("message")) ``` 此段代码展示了如何利用多线程加速一系列独立的图像文件读取及初步变换流程。每张图像是由单独的工作单元负责完成指定的任务链——打开原始文件->修改尺寸->转灰度化->保存新版本至磁盘。整个过程中涉及到了输入/输出等待时间,因此非常适合发挥出多线程的优势[^3]。 当面对更加复杂的计算机视觉算法时,则需考虑其他因素如内存占用情况以及是否真正属于可被分割成子任务的形式等问题。如果目标是在GPU上运行深度学习模型推理部分的话,那么应该探索基于PyTorch Lightning或者TensorFlow Serving之类框架下的分布式训练方案而不是单纯依靠增加更多Python级别的线程数量来解决问题[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值