python入门难?十之八九是因为python 协程吧!

这篇博客介绍了如何使用Python的信号量控制协程并发数,通过实例展示了从多线程到协程的转换,并探讨了GIL对并发的影响。文章还提及了aiohttp中的TCPConnector连接池在限制并发连接数方面的作用,提供了实际的代码示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本篇博客补充一下协程并发数控制相关知识点。

在正式编码前,先介绍一下本篇博客要采集的站点:【看历史,通天下-历史剧网】

目标数据是该站点下的热门历史事件,列表页分页规则如下所示:

http://www.lishiju.net/hotevents/p0
http://www.lishiju.net/hotevents/p1
http://www.lishiju.net/hotevents/p2

首先我们通过普通的多线程,对该数据进行采集,由于本文主要目的是学习如何控制并发数,所以每页仅输出历史事件的标题内容。

普通的多线程代码

import threading
import time

import requests
from bs4 import BeautifulSoup


class MyThread
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦想橡皮擦

如有帮助,来瓶可乐

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值