win10 python 【scrapy crawl chouti --nolog 】 cmd 命令不执行parse函数（没有内容输出）原因...

weixin_30823833

于 2019-06-16 21:32:00 发布

阅读量663

点赞数

CC 4.0 BY-SA版权

文章标签： python 爬虫

原文链接：http://www.cnblogs.com/xhzd/p/11033056.html

本文介绍如何在Scrapy框架中设置ROBOTSTXT_OBEY为False，并通过修改settings.py文件来实现在CMD中查看parse函数的执行结果。通过具体案例展示了如何使用Scrapy爬取chouti.com网站的内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

想要执行parse能够在cmd看到parse函数的执行结果：

解决方法：

settings.py 中设置 ROBOTSTXT_OBEY = False

案例：

day96\day96\spiders\chouti.py

# -*- coding: utf-8 -*-
import scrapy
import sys
import io

sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')

class ChoutiSpider(scrapy.Spider):
    name = 'chouti'
    allowed_domains = ['chouti.com']
    start_urls = ['http://dig.chouti.com/']

    def parse(self, response):
        # print(response.url)
        # print(response.text)
        content=str(response.body,encoding='utf-8')
        print(content)