scrapy框架常用命令

weixin_33804582

于 2019-05-04 19:47:00 发布

阅读量106

点赞数

CC 4.0 BY-SA版权

文章标签： python 爬虫

原文链接：https://my.oschina.net/u/3822522/blog/3045170

博客介绍了Python爬虫相关内容，包括新建scrapy项目、新建爬虫文件以及启动爬虫等步骤，为Python爬虫开发提供了基础操作指引。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.新建一个scrapy项目

scrapy startproject mySpider

2.新建一个爬虫文件

# 使用crawl 模板创建,适用于整站爬取
scrapy genspider -t crawl qsbk 'qiushibaike.com' 

# 使用basic模板创建,适用于循环爬取有规律的网址
scrapy genspider -t basic im "imooc.com"

3.启动爬虫

# 无日志启动
scrapy crawl jdsc --nolog

# 有日志启动
scrapy crawl jdsc --nolog

转载于:https://my.oschina.net/u/3822522/blog/3045170