ConnectionError

本文描述了使用requests和bs4库爬取TED网站页面主题和网址的过程,遇到的问题及初步解决尝试,包括设置请求超时,但仍面临不稳定的情况。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

描述:爬取TED网站页面主题和网址
方法:requests + bs4
问题:(1)爬取第一页还没问题,第二页出现如下显示:
在这里插入图片描述
(2)技术菜鸟的做法就是百度,然后试试,先运行然后再学习;
添加timeout=(timeout=(3,7))

def getHtml(url):
  
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.0; WOW64; rv:24.0) Gecko/20100101 Firefox/24.0'}
    page = requests.get(url, headers=headers, timeout=(3,7))
    page.encoding= page.apparent_encoding
    html = page.text          

(3)然后问题依旧
在这里插入图片描述
参考:https://blog.youkuaiyun.com/wdh315172/article/details/80491668
在这里插入图片描述
这样,接下来完全看运气了,运气好的时候爬几十页,差的时候只有几页,不过还是有进步的,后续再慢慢改进,毕竟先完成任务再说…

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值