- 博客(5)
- 收藏
- 关注
RSS订阅原创 Scrapy学习笔记(5)--Selectors 选择器
Selectors(选择器) 是 scrapy 中最常使用的工具当你在爬取网页的时候，最常见的任务就是从HTML源代码中提取数据，而想要提取那部分数据就要使用到Scrapy 的Selectors, 主要有XPath 与CSS 选择器, 本文主要介绍了XPath选择器的使用。
2017-11-04 11:46:08
776
原创 Scrapy学习笔记（4）—Spider
本笔记介绍scrapy提供的几种爬虫模板，分别是basic（默认Spider）、CrawlSpider、XMLFeedSpder、CSVFeedSpider四种，以及另外一种SitemapSpider，本笔记着重于各种知识点，并没有很多、很有用的实例，但都是理论基础。实例我会在后续的笔记中加入。
2017-10-08 14:24:48
1213
原创 Scrapy学习笔记(3)--Command line tool（命令行工具）
Command line toolScrapy是在命令行中控制的，比如创建project，运行爬虫等。Scrapy提供了很多的参数和命令。 PS：所有括号中的指令都和前边的对应指令等价，或者是缩写形式使用scrapy toolscrapy <command> [options] [args] 如果你直接输入scrapy，它会显示帮助，即命令参数，你也可以输入scrapy -h来查看，或者sc
2017-10-04 16:06:58
1215
原创 Scrapy学习笔记(2)
这一篇笔记主要介绍scrapy爬取名人名言、作者信息以及如何翻页操作，下一页！，本次要爬取的网址"http://www.dailyenglishquote.com/"，上面有很多名人名言，类似于scrapy官方文档的入门例子，不过要稍微复杂一些，因为除了名字、名人名言以外，还有对它的中文解释、简略介绍作者，这网站很良心，很适合爬虫练习废话不多说，先建一个工程 >scrapy startprojec
2017-10-03 13:02:44
708
原创 Scrapy学习笔记(1)
我是scrapy初学者，所以只是爬取一些小资源拿来练练手，scrapy还有很多强大的功能没学，所以把这篇笔记当成初学者的笔记也好。因为总共学习编程不到半年，拿爬虫练手，即可以爬取有趣的资源，也会对编程更加热爱，提高编程能力。本次学习的scrapy就是爬虫很强大的框架。我参考的是scrapy的官方英文文档，不过实例都是我自己写的 本笔记假设你已经安装了scrapy。 我在装scrapy的时候也遇到
2017-10-01 15:07:59
733
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人