HHYZBC的博客

在scrapy创建成功后，在自动生成的目录中会有items.py文件和pipelines.py文件，这两个都是可以用来保存文件的。下面就来写一下这两个文件的保存文件的方式。

为对于爬虫设置的爬取范围，设置之后用于过滤要爬取的url，如果爬取的url与允许的域不通则被过滤掉。配置项中键为使用的管道类，管道类使用.进行分割，第一个为项目目录，第二个为文件，第三个为定义的管道类。配置项中值为管道的使用顺序，设置的数值约小越优先执行，该值一般设置为1000以内。命令在项目目录下执行scrapycrawl在pipelines.py文件中定义对数据的操作。示例scrapycrawlitcast。需要注意的是，定义完成后管道还需要配置应用。...

Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。少量的代码，就能够快速的抓取。