fake-useragent，python爬虫伪装请求头

最新推荐文章于 2024-12-12 18:16:24 发布

牛code

最新推荐文章于 2024-12-12 18:16:24 发布

阅读量373

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/qq_25064691/article/details/114520262

python 专栏收录该内容

9 篇文章

订阅专栏

在进行网页爬虫时，如果使用相同的User-Agent多次访问百度搜索，可能会触发安全验证。通过安装和使用fake-useragent库，我们可以生成随机的User-Agent，从而避免这个问题。该库允许我们在请求头中设置不同的User-Agent，防止被网站识别为机器人。示例代码展示了如何导入fake-useragent，创建随机User-Agent，并将其应用于requests库的get方法中进行网页请求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在爬取百度搜索词的链接的时候，User-Agent在爬取一遍后，在爬取使用相同的User-Agent，会出现百度安全验证，可以使用fake-useragent动态生成User-Agent来请求百度。

安装fake-useragent

pip install fake-useragent

使用fake-useragent

from fake_useragent import UserAgent
ua = UserAgent()
ua.random  #生成随机User-Agent

例子

from fake_useragent import UserAgent
import requests
ua=UserAgent()
#请求的网址
url="http://www.baidu.com/s?wd=python&pn=10"
#请求头
headers={"User-Agent":ua.random}
#请求网址
response=requests.get(url=url,headers=headers)
#响应体内容
print(response.text)
#响应状态信息
print(response.status_code)
#响应头信息
print(response.headers)