
爬虫
俺就不起网名
安安静静的做一个不停成长的开发者……
展开
-
java爬虫案例--webmagic
用webmagic写了一个爬虫 爬虫地址:https://job.oschina.net/search?type=%E8%81%8C%E4%BD%8D%E6%90%9C%E7%B4%A2&key=&exp=0&edu=0&nat=1&city=%E5%85%A8%E5%9B%BD&p=1爬虫所有的招聘职位信息(文末附代码下载及使用说明)一、查询总的页数 service层代码://获取总条数原创 2016-11-29 16:49:33 · 6718 阅读 · 3 评论 -
Java爬虫(webmagic)
webMaigc学习地址(强烈推荐):http://www.oschina.net/p/webmagic 本篇博客只是整理笔记。 webmagic的是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、转载 2016-10-18 16:30:00 · 24420 阅读 · 4 评论