(1)下面代码意义在于可以执行main.py文件运行程序,当然我们也可以在shell中运行scrapy crawl name
from scrapy import cmdline
cmdline.execute("scrapy crawl name".split())
(2)在文件头添加from scrapy import Field,后面的Field前就不用再添加scrapy,目的是为了提高效率
from scrapy import Item, Field
class DoubanmovieItem(Item):
# define the fields for your item here like:
# name = scrapy.Field()
title = Field()
movieInfo = Field()
star = Field()
quote = Field()
本文介绍了一种通过在Python脚本中调用Scrapy命令来启动爬虫项目的方法,并展示了如何定义用于抓取网站数据的数据项类。
65万+

被折叠的 条评论
为什么被折叠?



