写代码时遇到反爬了要怎么做？注意以下几点！【python】

嗨喽~大家好呀，这里是魔王呐 ❤ ~!

python更多源码/资料/解答/教程等 点击此处跳转文末名片免费获取

一、初级

反爬虫是网站为了防止爬虫程序访问网站而采取的一系列措施，一旦被反爬虫，我们需要通过以下方式来解决：

1. 修改请求头：

   有些网站会识别爬虫程序的请求头，我们可以通过修改请求头来改变程序的请求方式，让其看起来像是普通用户在浏览网页。具体实现可通过 Python 的 requests 库中的 headers 参数来设置。

2. 延时爬取：

   有些网站会限制短时间内的访问次数，所以我们可以通过设置延时，让爬虫程序在一定时间间隔后再访问页面，从而降低访问频率。具体实现可通过 Python 中的 time 模块来实现。

3. 使用代理IP：

   有些网站为了防止爬虫程序的访问，会封禁爬虫程序所在的 IP 地址，我们可以通过使用代理 IP 来实现每次访问使用不同的 IP 地址，从而避免被封 IP。具体实现可通过 Python 中的 requests 库中的 proxies 参数来设置。

4. 登录账号：

   有些网站会设置只有登录用户才能进行浏览访问，我们可以通过模拟用户登录行为，以登录状态进行爬取。具体实现可通过 Python 中的 requests 库中的 session 对象来完成。

5. 另外，我们需要注意一些爬虫的行为可能会对目标网站造成不良影响，因此需要遵守爬虫的道德规范，不要进行恶意的爬虫行为。

二、中级

除了上述方法，还有一些其他的反反爬虫技巧可以尝试，例如：