前言
本篇文章实现python的scrapy框架爬取全书网小说,scrapy框架的安装我在这里就不在赘述了,建议window用户使用anaconda安装,这里比较省心一些。运行环境python3(实际python2运行页没有太大问题)
一,项目的创建
在想要创建项目的目录内,打开cmd命令行,输出代码
scrapy startproject Fiction
然后进入项目内
cd Fiction
创建一个爬虫项目
scrapy genspider novel quanshuwang.com
完成后其项目目录是这样的
二,具体代码部分
代码我已经上传到了github仓库,地址:github(如果觉得不错,可以给一个star,谢谢)
三,具体完成后的数据库
四,总结
项目十分简单,适合scrapy的新手练习。
email:yao_guangju@163.com
本文介绍使用Python的Scrapy框架爬取全书网小说的方法。从项目创建到具体代码实现,再到最终的数据存储,适合Scrapy新手进行实践操作。
2739





