Python_Scrapy_3.介绍骨架

难得有一个库有官方的中文教程当然要好好的利用一下 官方教程在这里: 官方教程.

0.创建骨架

a.在命令条中cd到你想要保存代码的文件夹

b.输入scrapy startproject tutorial(这里可以替换成你喜欢的名字)

c.现在你可以在你选择的文件夹中发现一个新的目录了里面有很多.py文件

1.骨架中的文件

打个比方用Scrapy爬取数据就像从河里抽水.

a.scrapy.cfg 这个是配置文件,可以用记事本打开,貌似没什么内容.

b.tutorial文件夹是骨架中的关键的部分

a.__init__.py  貌似有这个文件会被python当作package.不过好像还有高级的用法 : __init__.py的高级用法

b.spiders 文件夹中用来存放爬虫文件 可以想象成 水泵

c.items.py 文件用来保存爬取到的数据  可以理解为 大水池

d.pipelines.py 文件用来把大水池里的数据处理保存到数据库  可以理解为 有过滤网的水管

e.settings.py  文件的作用和它的名字一样设置  可以理解为 水泵上的操作按钮