用Scrapy爬取网站时总获取不到源代码的解决办法

小太阳☀️

于 2017-11-06 16:35:21 发布

阅读量5.5k

点赞数

分类专栏： Python 爬虫文章标签： python爬虫

本文链接：https://blog.youkuaiyun.com/qq_38105596/article/details/78459105

版权

本文介绍了在使用Scrapy进行网页抓取时遇到无法获取源代码的问题，提出了解决方案，即在settings.py配置文件中添加请求头以模拟浏览器行为。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

运行scrapy  crawl gupiao，报错如下：

2017-11-06 16:28:19 [scrapy.utils.log] INFO: Scrapy 1.4.0 started (bot: gupiaosp
ider)
2017-11-06 16:28:19 [scrapy.utils.log] INFO: Overridden settings: {'BOT_NAME': '
gupiaospider', 'NEWSPIDER_MODULE': 'gupiaospider.spiders', 'SPIDER_MODULES': ['g
upiaospider.spiders']}
2017-11-06 16:28:19 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.logstats.LogStats']
2017-11-06 16:28:20 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 &#

最低0.47元/天解锁文章