使用threading+queue队列，发送get请求，输出状态码

使用threading+queue队列，发送get请求，输出状态码

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import requests
import threading
from queue import Queue


class JianDan(threading.Thread):
    # 类的构造方法，构造类对象时传入queue
    def __init__(self, queue):
        # 将主体self传入线程的构造方法中
        threading.Thread.__init__(self)
        # 绑定传入的queue为类对象的queue
        self.queue = queue

    def run(self):
        # 当queue队列不为空时
        while not self.queue.empty():
            # 从队列中取出一个url
            url = self.queue.get_nowait()
            # 调用spider方法，传入url来发送get请求
            self.spider(url)
            # 打印队列的剩余数
            print(self.queue.qsize())
            # 打印队列是否为空的状态
            print(self.queue.empty())

    def spider(self, url):
        headers = {
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}
        r = requests.get(url=url, headers=headers)
        print(r.status_code, len(r.content))


def main():
    # 创建一个数量为200的队列的对象
    q = Queue(200)

    # 将url地址压入到队列里
    for i in range(0, 10):
        q.put('http://www.bj.chinanews.com/news/2021/0228/8103' + str(i) + '.html')

    # 开始创建线程队列
    threads = []
    # 设置线程数
    thread_count = 30

    for i in range(thread_count):
        # 将类对象压入线程队列中
        threads.append(JianDan(q))

    for t in threads:
        t.start()
        t.join()


if __name__ == '__main__':
    main()

执行结果：