GeekLee的博客

Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。安装twsited过程出现问题，2.7,3.5，pycharm等等安装都不行。 在试过众多方法后，终于在一个Microsoft官方类似社区的发现了答案。安装visualcppbuildtools_full.exe但是出现错误提示要求安装Microsoft .NET Framework 4.5.1以上，我直接安装的是Microso

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~不妖自来~我刚刚接触scrapy的时候，也看过这个项目，奈何对scrapy本身就不怎么熟悉，所以当时怎么也想不明白，直到后来开始看scrapy 的源代码，才渐渐明白。这里提一下我的看法，水平有限，不敢保证完全正确，欢迎指正。一、scrapy和scrapy-redis的

真的不要纠结2还是3，对于爬虫来讲，感觉不到区别，这些都不是事儿，除了编码和print。而且requests和bs4都支持吧（待我确定下）。那什么是事儿呢？1 限制ip用requests代理，买代理，或者网上免费代理2 伪装成浏览器requests切换user agent3 先登录，保存cookiesrequests用session先post拿到cookies，再爬4 URL参数太多，不明白什么意思

#Data flow The data flow in Scrapy is controlled by the execution engine, and goes like this: The Engine gets the initial Requests to crawl from the Spider. The Engine schedules the Requests in the