gaorunwei的博客

转载 scrapy和scrapy_redis的理解

一、scrapy和scrapy_redis的区别：scrapy 是一个通用的爬虫框架，其功能比较完善，可以迅速的写一个简单爬虫，并且跑起来。scrapy-redis是为了更方便地实现scrapy分布式爬取，而提供了一些以redis为基础的组件（注意：scrapy-redis只是一些组件，而不是一个完整的框架）。假如scrapy是一工厂，能够出产你要的spider。而scrapy-redis是其他厂...

原创 抓取淘宝美食数据

1. 得到所有页的数量2. 解析页面得到产品信息3. 实现翻页面得到所有关于美食的数据 from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom se...

原创 关于反爬虫，我用实际案例告诉你（三大方法）

1.使用User-Agent--代表身份直接用urllib2（python3使用代替urllib.request）给一个网站发送请求的话，确实略有些唐突了，就好比，人家每家都有门，你以一个路人的身份直接闯进去显然不是很礼貌。而且有一些站点不喜欢被程序（非人为访问）访问，有可能会拒绝你的访问请求。但是如果我们用一个合法的身份去请求别人网站，显然人家就是欢迎的，所以我们就应该给我们的这个代码加上一个身...

原创 CrawlSpdier(规则爬虫)

原创 scrapy 爬虫