Scrapy笔记：使用scrapy shell url时出现403错误的解决办法

解决网站防爬虫配置

最新推荐文章于 2022-08-09 11:30:57 发布

转载最新推荐文章于 2022-08-09 11:30:57 发布 · 229 阅读

·

0

·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/zhangjpn/p/6802774.html

文章标签：

#python #shell #爬虫

本文介绍了当遇到网站防爬虫配置导致的爬取问题时的两种解决方案：一是通过命令行添加特定参数；二是修改Scrapy默认配置中的User-Agent值。

参考： http://www.th7.cn/Program/Python/201704/1154208.shtml

原因是网站的防爬虫配置起到了作用

(1):第一种方法是在命令上加上-s USER_AGENT='Mozilla/5.0'

(2):第二种方法是修改scrapy默认配置中的user-agent默认值

　　default_settings.py文件C:\Miniconda2\Lib\sitepackages\scrapy\settings\default_settings.py

　　把USER_AGENT = 'Scrapy/%s (+http://scrapy.org)' % import_module('scrapy').__version__

　　改为USER_AGENT = 'Mozilla/5.0'

转载于:https://www.cnblogs.com/zhangjpn/p/6802774.html

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。