python 使用request模块的爬虫简单例子

最新推荐文章于 2025-03-25 17:40:46 发布

llllliznc

最新推荐文章于 2025-03-25 17:40:46 发布

阅读量259

点赞数

本文链接：https://blog.youkuaiyun.com/llllliznc/article/details/118049107

版权

本文介绍了如何以管理员身份在命令行中安装Python的requests模块，并使用该模块进行网页请求。通过设置headers来模拟浏览器行为，避免被识别为爬虫。最后，将网页内容保存为HTML文件并展示如何查看。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装 `requests` 模块

以管理员身份使用命令行 (cmd) 进入到 python 安装目录下的 Scripts 文件夹

在命令行中输入 pip install requests ，等待安装完成即可

使用 `requests` 模块


import requests

url = "https://www.sogou.com/web?query=lizncu"

#在网页开发者工具中的 network 中找到 User-Agent
#浏览器可能会识别出爬虫从而拒绝访问
#加入 headers 使爬虫伪装的更像一些

headers = {
    "User-Agent" = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36 Edg/91.0.864.48"
}

resp = requests.get(url,headers = headers)    #根据网站选择get或者post

with open("C://Users//lixt6//Desktop//mysougou.html",mode="w",encoding="Utf-8") as f:
	f.write(resp.text)