wang1144的专栏

http://www.youkuaiyun.com/article/2014-07-16/2820670-bitly-lessons-learned-building-a-distributed-system摘要：每月爬取一亿网页，Bitly从事着典型的大数据BI业务。在Bacon会议上，该公司首席应用开发人员Sean O'Connor就Bitly的分布式架构进行了分享，其中重点介绍了“S

Thanks arturo182.That worked great. And im greatfull for you putting me in the right direction for the image downloading.Below is the full code for anyone looking at this thread. I hope it helps

转载自：http://jishu.zol.com.cn/3957.html

续前文：《数据抓取的艺术（一）：Selenium+Phantomjs数据抓取环境配置》。程序优化：第一步开始：for i in range(startx,total):    for j in range(starty,total):        BASE_URL = createTheUrl([item[i],item[j]])