单个爬虫文件使用scrapy保存为csv格式

最新推荐文章于 2025-01-12 15:29:02 发布

不愿透露姓名的菜鸟

最新推荐文章于 2025-01-12 15:29:02 发布

阅读量7.4k

点赞数 1

本文链接：https://blog.youkuaiyun.com/Homewm/article/details/77362558

版权

本文介绍如何在不使用pipeline、item和settings文件的情况下，通过Scrapy单个爬虫文件直接将数据保存为CSV格式。在命令行中运行`scrapy runspider stackoverflower_spider.py -o abc.csv`即可实现。对于有多个spider的情况，可以使用`scrapy list`检查错误，并用`scrapy crawl name -o result.csv`来获取Excel格式的数据，因为Scrapy内未直接提供存储为Excel的功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import scrapy

class StackOverflowSpider(scrapy.Spider):
	name = "stackoverflow"
	start_urls=["http://stackoverflow.com/questions?sort=votes"]

	def parse(self, response):
		for href in response.css('.question-summary h3 a::attr(href)'):
			full_url = response.urljoin(href.extract())
			yield scrapy.Request(full_url,callback=self.parse_question)

	def parse_question(self, response):
		yield {
			'title':response.css('h1 a::text').extract()[0],
			'votes':response.css(".question .vote-count-post::text").extract()[0],
			'body':response.css(".question .post-text").extract()[0],
			'tags': response.css('.question .post-tag::text').extract(),
			'link': response.url,
		}

这个文件不需要配置pipeline,item,setting等文件，如果想保存为cvs格式，在shell终端运行scrapy runspider stackoverflower_spider.py -o abc.csv

对于多个spider的情况，我们可以采用scrapy list可以检查代码是否出错，scrapy crawl name -o result.csv 也就是我们通常所说的excel格式，之所以这么使用，是因为在scrapy中没有内置直接存储为excell。

selector.xpath()或者response.css()