kezhen的专栏

http://my.oschina.net/u/1024140/blog/188154近期找工作略不顺。技术无用。晚上写下了这点东西。首先说下最近在找工作的x的大概相关技术加点路线。py 3年+，linux日常熟练，限于不擅web、手机app开发，一直无太好的可展示的东西。前段时间从一家小公司离职。年前投下，没啥的话，年后再看下。先投的py爬虫的，没合适的再看运维和py相关其他。

转自：http://blog.databigbang.com/web-scraping-ajax-and-javascript-sites/IntroductionMost crawling frameworks used for scraping cannot be used for Javascript or Ajax. Their scope is limited t

转自：http://smilejay.com/2013/12/try-phantomjs-with-selenium/有的网页，不能直接通过wget/curl等命令、或者直接使用Python中的liburl这样的函数库来直接获取其真正展现给用户的信息，因为里面包含有JavaScript脚本（而该JS和页面数据的生成相关），需要通过Firefox、Chrome等浏览器渲染后才能得到想要看

转自：http://www.oicqzone.com/pc/2014092319826.htmlsudo apt-get update sudo apt-get install build-essential chrpath git-core libssl-dev libfontconfig1-dev libxft-dev git clone git://github.co

http://pkmishra.github.io/blog/2013/03/18/how-to-run-scrapy-with-TOR-and-multiple-browser-agents-part-1-mac/Scrapy is a brilliant and well documented crawler written in python. Though it is not as

http://pkmishra.github.io/blog/2013/04/16/scrapy-run-using-tor-and-multiple-agents-part-2-ubuntu/As discussed in last post this post is about running the same things on ubuntu. Again I am going

转自：http://www.michaelnielsen.org/ddi/how-to-crawl-a-quarter-billion-webpages-in-40-hours/More precisely, I crawled 250,113,669 pages for just under 580 dollars in 39 hours and 25 minutes, using

http://blog.sina.com.cn/s/blog_704b6af70100py9n.html学校一个项目中使用Twisted，学习过程中，看到Dave写的这个系列，使我耳目一新。看完一遍后，很想把这个系列和众多Python爱好者分享，于是将这个系列翻译出来的想法就冒出来了。时间紧张，能采用意译的就采用意译了，但尽量不影响理解就是了，如果有错误之处，请指正，防止更多的朋友产生错误

http://inthecloud.readthedocs.org/zh_CN/latest/posts/ch04.html#scrapy-redis在开始这一章之前，你可能需要补习一下数学知识；还有熟悉下常见工具（语言），不必多年开发经验，会处理常见数据结构、能格式化文件即可。建议先通读一下 Scrapy 中文文档 ，这样你会省去好多Google的时间；在 知乎 上有许多关于 大数据

http://www.cnblogs.com/xia520pi/archive/2012/04/20/2459374.html （这个博客里有很多不错的系列文章）1）Nutch1.2二次开发详细攻略　　（1）Windows平台下Cygwin环境的搭建　　地址：http://www.cnblogs.com/streamhope/archive/2011/07/27/2118397.h

转自：http://rfyiamcool.blog.51cto.com/1030776/1287810对与要时不时要抓取页面的我们来说，是痛苦的~由于目前的Web开发中AJAX、Javascript、CSS的大量使用，一些网站上的重要数据是由Ajax或Javascript动态生成的，并不能直接通过解析html页面内容就能获得（例如采用urllib2，mechanize、lxml