反爬虫措施

最新推荐文章于 2023-10-11 10:15:21 发布

dawning_zyh

最新推荐文章于 2023-10-11 10:15:21 发布

阅读量573

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/dawning_zyh/article/details/78077962

反爬虫措施：
1.一般网站对请求头进行筛选，如果发现是python，说明该请求是一个爬虫程序，进行限制访问
伪装请求头，完全模仿浏览器发请求
2.网站会对发起请求的ip做判断，如果某个ip发送了大量的请求，说明该请求是爬虫程序发起的，进行限制或者封杀
使用ip代理，隔一段时间换个IP地址
3.频繁访问某个网站，有的网站也会进行限制
爬取的过程中，间隔一定的时间