Python 使用Pycharm抓取网页

最新推荐文章于 2025-03-02 08:00:00 发布

XLawsZero

最新推荐文章于 2025-03-02 08:00:00 发布

阅读量2.9k

点赞数

分类专栏： Python

本文链接：https://blog.youkuaiyun.com/XLawsZero/article/details/87362332

版权

Python 专栏收录该内容

6 篇文章

订阅专栏

本篇博客介绍了一种使用Python的urllib库抓取网页的方法，通过取消全局SSL验证来避免SSL验证失败的问题。代码示例展示了如何设置请求头、发送请求并保存网页内容到本地文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import urllib.request

import ssl

#取消全局SSL验证，不写这句 可能会报SSL验证失败
ssl._create_default_https_context = ssl._create_unverified_context

chaper_url = "http://588ku.com/"
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0'}
req = urllib.request.Request(url=chaper_url, headers=headers)
the_page = urllib.request.urlopen(req)
html = the_page.read()
with open("588ku.txt",mode='wb') as f:
    f.write(html)

print(html)