user-agent池

最新推荐文章于 2024-11-19 09:51:13 发布

weixin_30568591

最新推荐文章于 2024-11-19 09:51:13 发布

阅读量208

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/duanhaoxin/p/11395521.html

原因
一部分网站反爬，会通过检查请求的请求头里是否有浏览器的user-agent来判断请求是否是爬虫。当你在请求头里加上user-agent，然后，进行反复的请求后，系统又会判断请求时爬虫，因为单一版本浏览器请求过多，为了达到以假乱真的目的，你需要构建一个user-agent池，然后随机调用，那样相对比较繁琐但有效，如果你不想构造池呢，请看下面。

解决方法
pip install fake_useragent

from fake_useragent import UserAgent

headers = {
‘User-Agent’: UserAgent().random,
}

使用这个包以后，妈妈再也不用担心，构建user-agent池了。
————————————————
版权声明：本文为优快云博主「笑笑布丁」的原创文章，遵循CC 4.0 by-sa版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.youkuaiyun.com/qq_40244755/article/details/90137882

转载于:https://www.cnblogs.com/duanhaoxin/p/11395521.html