【重磅推荐】Scrapy爬虫框架出现Forbidden by robots.txt（scrapy默认是不爬虫设置了robots.txt文件的,所以要配置一下）

最新推荐文章于 2025-02-09 10:30:00 发布

weixin_43343144

最新推荐文章于 2025-02-09 10:30:00 发布

阅读量793

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Scrapy python语言

本文链接：https://blog.youkuaiyun.com/weixin_43343144/article/details/87898048

python语言同时被 2 个专栏收录

81 篇文章

订阅专栏

Scrapy

15 篇文章

订阅专栏

本文介绍了两种Scrapy框架下的爬虫策略：一是设置ROBOTSTXT_OBEY为False，直接忽略robots.txt规则，但易导致IP被封；二是保持ROBOTSTXT_OBEY为True，通过修改USER_AGENT来模仿目标网站支持的爬虫，实现更隐蔽的爬取方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考文章：https://blog.youkuaiyun.com/zzk1995/article/details/51628205

方法一：设置ROBOTSTXT_OBEY = False，这种不推荐(非万不得已）,强行爬虫容易封ip

scrapy框架这个属性设置为False即可（默认为True）

ROBOTSTXT_OBEY = False

第二种方法就是不改变 ROBOTSTXT_OBEY=True的默认值，而伪装平台支撑的爬虫（推荐这种方式）

# Crawl responsibly by identifying yourself (and your website) on the user-agent
你要爬虫那个网站，就伪装它支持的爬虫平台,如百度阅读支持百度的爬虫
https://yuedu.baidu.com/robots.txt第一个User-agent: Baiduspider
USER_AGENT = 'Baiduspider'

# Obey robots.txt rules(默认是禁止爬虫设置了robots.txt文件的网站)
ROBOTSTXT_OBEY = True