python并行任务案例,百分百干货,百分百原创,只分享核心技术【强烈建议关注并收藏】

序言:

用一台电脑采集,怎样让CPU跑满,让带宽也充分用光,让电力+带宽+电脑充分利用就考验我们的技术实力了。

下面是我的实操代码:

# coding=utf-8
from multiprocessing import Pool
import time
from po.ddmcwechat_page import DdmcWechatPage


def main(device_info):
    print(f"###########################################{device_info} start#########################################")
    DdmcWechatPage(device_info).run()
    print(f"###########################################{device_info} end#########################################")

    time.sleep(100)


if __name__ == '__main__':
    # 创建进程池
    device_infos = ["夜神62001", "夜神62026"]
    with Pool(len(device_infos)) as pool:
        # device_infos:要处理的数据列表,main:处理device_infos列表中数据的函数
        pool.map(main, device_infos)  # 并行
        # pool.close() # 关闭进程池,不再接受新的进程
        pool.join()  # 主进程阻塞等待子进程的退出

下面是技术总结

使用多进程模块(multiprocessing)可以很方便地实现并发。multiprocessing模块是Python标准库中专门用于处理多进程的模块。

其中,multiprocessing.Pool()方法提供了对多进程并发的支持,可以实现同时执行多个子进程,以达到提高程序运行效率的目的。比如以下代码:

```python
from multiprocessing import Pool

def func(x):
return x*x

if __name__ == '__main__':
p = Pool(processes=4) # 定义进程池中的进程数量
result = p.map(func, [1, 2, 3, 4, 5]) # 将任务提交至进程池
print(result) # 打印结果
```

将会并发执行func函数,返回值为[1, 4, 9, 16, 25]。

另外,使用``multiprocessing.Process``类也可以创建进程并进行并发操作。具体实现可以参考[multiprocessing官方文档](https://docs.python.org/3/library/multiprocessing.html)。

特别声明:加紧钻研技术,用技术改变世界,不要用技术危害世界。让我们携手并进,追逐技术,实现超越自我,欢迎私聊。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逆向导师

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值