【Scrapy爬虫系列1】爬虫的几大问题——抛砖引玉

什么是爬虫？

抓取特定网站网页的HTML数据

什么是Scrapy？

Scrapy是一个基于Twisted，纯Python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫。Scrapy使用Twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。

Scrapy的几大核心模块

Scrapy的数据流向

Scrapy的中间件

Scrapy实例

• 《爬虫框架Scrapy实战之批量抓取招聘信息》http://www.pythontab.com/html/2015/pythonweb_0410/943.html 

爬虫辅助知识：

• 《计算机接口大全》http://blog.youkuaiyun.com/iloli/article/details/6316364
•