scrapy实现爬取全书网小说到Mysql数据库(附代码)

本文介绍使用Python的Scrapy框架爬取全书网小说的方法。从项目创建到具体代码实现,再到最终的数据存储,适合Scrapy新手进行实践操作。

前言

本篇文章实现python的scrapy框架爬取全书网小说,scrapy框架的安装我在这里就不在赘述了,建议window用户使用anaconda安装,这里比较省心一些。运行环境python3(实际python2运行页没有太大问题)

一,项目的创建

在想要创建项目的目录内,打开cmd命令行,输出代码

scrapy startproject Fiction

然后进入项目内

cd Fiction

创建一个爬虫项目

scrapy genspider novel quanshuwang.com

完成后其项目目录是这样的


二,具体代码部分

代码我已经上传到了github仓库,地址:github(如果觉得不错,可以给一个star,谢谢)

三,具体完成后的数据库


四,总结

项目十分简单,适合scrapy的新手练习。

email:yao_guangju@163.com





评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值