
爬虫
hhg08
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
mechanize模拟登录与爬取数据
(1)mechanize gem install mechanize (2)模拟浏览器行为 require "mechanize" agent = Mechanize.new agent.user_agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gec...原创 2016-07-04 11:53:10 · 276 阅读 · 0 评论 -
casperjs爬虫
主要是抓一些网站的数据特别对于mechanize无法抓取的js产生的数据 (1)casperjs是在phatomjs基础上来的所以安装casperjs必须先安装phatomjs http://casperjs.org/ http://phantomjs.org/ 都有 (2)casperjs是按步来的,所以start run then这三个方法中前两者是必须有的 (3)...原创 2017-02-17 11:43:59 · 232 阅读 · 0 评论