关于scrapy+mongodb的一些体会

1.mongodb的无模式（模式自由）与scrapy的Item有一些冲突。

mongodb的无模式，允许每一个doc的key可以任意增加或者修改，但是scrapy的item中，必须定义每一个field。

所以为了不同的网站抓取，可能有不同的字段数据和类型，这样scrapy的item定义，就会很庞大，会有很多冗余。

2.scrapy 加载item的方式

item loader有很多高级功能，还有input processor 和output processor等，需要再学习。