scrapy爬取爱上租网站的房源信息（二）

现在我们需要将所有的数据存到数据库中，一般有两种方式：直接存到数据库中和先保存为csv文件再导入数据库

两种方式我都尝试了，我用的是mysql数据库

一、直接存到数据库中

使用items包装需要爬取的内容。把内容都用items.py来进行管理，便于把抓取的内容传递进pipelines进行后期处理,同时分工明确

接下来在爬虫文件中添加以下内容，将数据传给pipeline.py去处理

在pipeline中连接数据库，并创建一个表

一开始时将连接数据库放到初始化函数中，但一直提示pipeline.py中没有属性cursor，具体原因还未弄懂，有知道的大神麻烦在评论取讲解下

接下来插入数据，最后记得关闭连接

二、保存为CSV文件

在初始化中打开csv文件，如果csv文件不存在，就会自动新建，并且将列名写入第一行

接下来将前面传过来的item写入csv中，最后同样记得关闭

然后我们就看到文件下多了个csv文件