控制台正常输出爬取结果但不生成导出文件
(1)程序中引入了scrapy.cmdline.execute导致无法导出
from scrapy.cmdline import execute
"""
代码段
"""
execute(['scrapy', "crawl", "xxx_spider"])
解决办法:execute用来debug,当命令行执行命令时删掉,否则不会导出数据。
控制台不输出爬取结果,生成导出文件但没有数据
(1)items程序中字段出现问题
# items.py
import scrapy
class Item(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
company_regions = scrapy.Field() #公司区域
company_name = scrapy.Field() #公司名称
# company_description = scrapy.Field() #公司介绍
company_url = scrapy.Field() #网站地址
# xx_spider.py
"""
代码段
"""
huangye_item['company_region'] ......
......
解决办法:字段名保持一致