scrapy绕过反爬虫

最新推荐文章于 2025-03-14 22:38:47 发布

baidu_20735905

最新推荐文章于 2025-03-14 22:38:47 发布

阅读量4.3k

点赞数

CC 4.0 BY-SA版权

文章标签： scrapy-js 爬虫 scrapy-爬虫

本文链接：https://blog.youkuaiyun.com/baidu_20735905/article/details/78560979

本文介绍了如何使用Scrapy框架应对常见的反爬虫策略，包括通过代理IP解决IP限制，构造Header欺骗User-Agent和Referer，以及利用Scrapy+Splash抓取JavaScript动态加载的内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这里还是用scrapy框架写的爬虫。
最近才开始学习的，经过搜索了之后，常见的反爬虫方案大致有几个：
1.针对用户行为，常见的就是网站会针对ip访问频率统计，访问太过频繁，会禁止该ip地址的访问
2.判断Header，比如如果User-agent是爬虫或者检测工具，或者非正常的浏览器，就禁止该次连接
3.数据加载方式，采用ajax异步加载，这样只是爬取静态页面的话什么信息都没有办法得到

下面实现一下每一个方案的应对方案：

1.针对用户行为
针对用户行为基本上就是对ip地址的访问统计，还有同一个用户多次相同的行为什么的，不过这里是为了爬取url，基本不会有后者的情况。
可以采用代理ip来解决，写一个爬虫爬取免费的代理网站，获取到一批免费代理，然后每次都随机选一个就好了。
下面是爬取代理的代码，注意频率不要太高，免费的代理网站也是有反爬虫的。

# -*- coding: utf-8 -*-
import scrapy
import time
from scrapy.selector import Selector

class Proxyspider(scrapy.Spider):
    name = 'proxy'
    allowed_domains = ['www.xicidaili.com']
    start_urls = ['http://www.xicidaili.com/']

    def start_requests(self):
        burl = "http://www.xicidaili.com/nn/"
        for i in range(1,5):
            yield scrapy.Request(url=burl+str(i), callback=self.parse)

    def parse(self, response):

        se = scrapy.Selector(response)

        cnt = 0
        site = se.xpath('//tr')
        for s in site:
            content = s.xpath('.//td/text()').extract()
            if len(content) > 2:
                scheme = content[5]
                if scheme == 'HTTP' or scheme == 'HTTPS':
                    print '%s://%s:%s'%