3 使用requests爬取豆瓣点评及爬取网页通用框架完整代码

最新推荐文章于 2025-06-07 22:07:17 发布

翻译最新推荐文章于 2025-06-07 22:07:17 发布 · 669 阅读

python爬虫专栏收录该内容

18 篇文章

订阅专栏

本文介绍了一种使用Python进行网页爬取的方法，并详细解释了如何通过设置超时来处理网络请求异常。通过定义一个getHTMLText函数，文章展示了如何获取网页内容，并对可能出现的异常情况进行了妥善处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

三个箭头代表在python环境下

pip list

首先分析是否是javascript加载

另一种方法是查看网站源代码

timeout=20 是超时等待时间

我们所做的就是把url放进去红圈部分。

爬取网页通用框架完整代码

定义函数
设置超时
异常处理
调用函数

#定义函数
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=20) #设置超时
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except: #异常处理
        return "产生异常"
if __name__ == '__main__':
    url = " "
    print(getHTMLText(url)) #调用函数