
多线程
执笔写回憶
人生苦短,才学Python!
展开
-
python并发模块concurrent中的ThreadPoolExecutor并发爬取图片
该网站有反爬措施,可以换个网址 使用submit方法来往线程池中加入一个task(pow函数),submit返回一个Future对象。其中future.result()的result方法的作用是拿到调用返回的结果。如果没有执行完毕就会去等待。 # 并发爬取 import time,re,os import requests import hashlib from concurrent.futures import ThreadPoolExecutor pool = ThreadPoolExecu.原创 2020-12-04 17:11:16 · 437 阅读 · 0 评论 -
threading多线程模拟银行存钱,应用到线程锁
# 模拟银行存钱,初始金额0,执行十次,每次存1元 from threading import Thread,Lock from time import sleep bank = { 'zhangsan':0 } bank_lock = Lock() # 定义一个函数,作为新线程执行的入口函数 def posit(threadinx,amount): # 操作共享数据时,申请获取锁 bank_lock.acquire() print(f'{threadinx}申请了锁'.原创 2020-11-06 17:53:20 · 325 阅读 · 1 评论 -
基于进程+线程实现多任务爬虫程序,爬取站长之家风景图片
#!/usr/bin/env python # coding=utf-8 """ 基于进程+线程实现多任务爬虫程序,爬取站长之家风景图片 """ import time import uuid from multiprocessing import Queue, Process from threading import Thread import requests from lxml import etree from openpyxl import Workbook headers = { .原创 2020-08-19 14:49:04 · 220 阅读 · 0 评论