qq_40357974的博客

1.多线程爬虫流程分析 2.queue模块 2.1Queue：先进先出队列，类似火车站排队 from queue import Queue # Queue：先进先出队列，类似火车站排队 # 创建Queue对象 # maxsize 用于指定Queue队列的容量，最多可以放多少元素，不指定则没有限制 q = Queue(maxsize=3) # 存储元素 q.put(1) q.put(2) # q...

Queue类：是 Python标准库中的线程安全的队列(FIFO)实现，提供了一个适用于多线程编程的先进先出的数据结构----队列，用于生产者和消费者线程之间的信息传递。队列是线程间最常用的交换数据的形式。这里有个问题,为什么使用队列( Queue)，不使用 Python原生的列表(List)或字典(Dict)类型呢？原因是List,Dict等数据存储类型都是非线程安全的。在多线程中,为了防止共享...

协程爬虫流程分析 协程工作流程分析 # 打猴子补丁，在遇到阻塞时，实现多个协程任务自动切换 from gevent import monkey monkey.patch_all() import gevent import time # 定义任务函数，表示需要执行的任务 def task(msg): for i in range(5): print(msg) ...