scrapy入门

最新推荐文章于 2025-03-22 21:11:40 发布

原创最新推荐文章于 2025-03-22 21:11:40 发布 · 229 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#scrapy入门

python 专栏收录该内容

7 篇文章

订阅专栏

本文介绍如何使用Scrapy框架创建和运行爬虫项目，包括安装、配置、编写爬虫代码及测试过程，通过实例演示爬取书籍信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

scrapy框架: 实现爬虫.
下载: pip install scrapy
pip install argparse

学习:	从官网.

第一个scrapy框架项目创建开发:
	scrapy startproject project1
	
	cd project1
	
	scrapy genspider example example.com
	
	备注: 默认创建了一个项目project1. 
	      也默认生成了一个爬虫:example 
导入project1到idea编辑器中,并指定编译环境:2.7

编写spiders/example.py 生成的爬虫文件:
	明确name , start_urls 属性.
	编写parse()函数.

测试: 爬虫是否能够正常与51job平台建立连接.
	1.打开命令行: scrapy crawl 爬虫的name名
		前提:目录必须切换到爬虫文件所在目录下.
	
	2.在spiders/目录下, 创建init.py启动文件:
		内部编写:
		import scrapy
		scrapy.cmdline.execute( "scrapy crawl 爬虫的name名".split() )

		启动: 在init.py文件中右击run即可.	



import scrapy


class ExampleSpider(scrapy.Spider):
    name = 'spider1'    #爬虫标识名称
    # allowed_domains = ['example.com']
    start_urls = ['http://books.toscrape.com/']   #开始爬取的位置

    def parse(self, response):
        for book in response.xpath("//article[@class='product_pod']"):
            book_name = book.xpath("./h3/a/@title").extract()
            book_price = book.xpath("./div[@class='product_price']/p[@class='price_color']/text()").extract()
            yield{
                'name':book_name,
                'price':book_price,
            }