使用 scrapy

Scrapy

写得比较清晰的博客
基础与框架 https://juejin.im/post/5ad41ff7f265da23945ff1a6
实践 https://www.cnblogs.com/wanghzh/p/5824181.html

---

重要的概念

• Items

• Pipelines

• Spiders

• Scheduler

---

解析页面：Selectors

https://doc.scrapy.org/en/latest/topics/selectors.html

• 可以使用Scrapy自带的xpath和css
• 也可以使用bs4等其他解析工具

对于xpath和css选择器的语法

https://blog.youkuaiyun.com/lanhaixuanvv/article/details/78565877
http://www.w3school.com.cn/cssref/css_selectors.asp
http://www.w3school.com.cn/xpath/