常见的反爬手段和解决思路

最新推荐文章于 2025-06-20 18:05:28 发布

怀北_ZY

最新推荐文章于 2025-06-20 18:05:28 发布

阅读量1.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签： Python 爬虫反爬

本文链接：https://blog.youkuaiyun.com/ZY3099492099/article/details/84455107

爬虫专栏收录该内容

19 篇文章

订阅专栏

本文深入探讨了反反爬的主要思路和技术，包括模拟浏览器行为、使用User-Agent池、处理referer和cookie、应对JS加密和跳转，以及识别验证码等方法。同时，也提到了如何通过购买高质量IP和模仿用户行为来规避反爬机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

明确反反爬的主要思路

反反爬的主要思路就是：尽可能的去模拟浏览器，浏览器在如何操作，代码中就如何去实现。

例如：浏览器先请求了地址url1，保留了cookie在本地，之后请求地址url2，带上了之前的cookie，代码中也可以这样去实现。

通过headers字段来反爬

headers中有很多字段，这些字段都有可能会被对方服务器拿过来进行判断是否为爬虫

通过headers中的User-Agent字段来反爬

反爬原理：爬虫默认情况下没有User-Agent

解决方法：请求之前添加User-Agent即可；更好的方式是使用User-Agent池来解决（收集一堆User-Agent的方式，或者是随机生成User-Agent）

import random

def get_ua():
    first_num = random.randint(55, 62)
    third_num = random.randint(0, 3200)
    fourth_num = random.randint(0, 140)
    os_type = [
        '(Windows NT 6.1; WOW64)', '(Windows NT 10.0; WOW64)', '(X11; Linux x86_64)',
        '(Macintosh; Intel Mac OS X 10_12_6)'
    ]
    chrome_version = 'Chrome/{}.0.{}.{}'.format(first_num, third_num, fourth_num)

    ua = ' '.join(['Mozilla/5.0', random.choice(os_type), 'AppleWebKit/537.36',
                   '(KHTML, like Gecko)', chrome_version, 'Safari/537.36']
                  )
    return ua

通过referer字段或者是其他字段来反爬

反爬原理：爬虫默认情况下不会带上referer字段

解决方法：添加referer字段（例如豆瓣美剧爬虫，详见课程1.3.2小节）

通过cookie来反爬

如果目标网站不需要登录每次请求带上前一次返回的cookie，比如requests模块的session

如果目标网站需要登录准备多个账号，通过一个程序获取账号对应的cookie，组成cookie池，其他程序使用这些cookie